Die robots.txt Datei liegt im Hauptverzeichnis Deines Servers (e.g. https://website-radar.com/robots.txt) und informieren die Crawler der Suchmaschinen (z.B. Google oder Bing) darüber, welche Webseiten in den Index aufgenommen werden sollen – oder eben nicht. Auch die Sitemap bzw. Der Sitemap-Index ist in der robots.txt Datei eingetragen.
Mit der robots.txt Datei können Crawler einzelner Suchmaschinen darüber informiert werden, welche Webseiten oder Teilbereiche einer Webseite nicht in den Index aufgenommen werden sollen.
Dies kann zum Beispiel nützlich sein, wenn bestimmte Seiten auf der Website nicht für die Öffentlichkeit bestimmt sind oder wenn bestimmte Ordner unnötige Duplikate enthalten, die die Suchmaschinenergebnisse beeinträchtigen könnten. Sie dient aber auch dazu bei den Suchmaschinen die Crawling-Ressourcen zu schonen, da beispielsweise unwichtige Seiten nicht indexiert werden. Es ist wichtig zu beachten, dass Suchmaschinen-Roboter nicht verpflichtet sind, diese Anweisungen zu befolgen, aber die meisten tun dies in der Regel.