Der Meta-Tag „robots“ mit dem Inhalt "index,follow" bewirkt, dass der Suchmaschinenspider die aktuelle Seite indiziert und allen Links folgt. Das macht der Searchbot jedoch automatisch auch ohne dieser Anweisung, daher kann dieser Eintrag ohne Nachteile zu haben auch fehlen. Diesen Metatag sollte man nur dann verwenden, wenn man mit „noindex,nofollow“ dem Bot dies verbieten möchte.
Stellen Sie unbedingt im Root-Verzeichnis Ihres Internetauftritts die Datei robots.txt zur Verfügung. Sie macht zwar keinen Unterschied für das Suchmaschinen-Ranking, jedoch hilft Sie sehr um überhaupt in den Suchmaschinen-Index mancher Suchmaschinen aufgenommen zu werden.
robots.txt
Die Datei robots.txt ist eine simple Textdatei und muss im Rootverzeichnis liegen. Die Datei muss durch die Url http://www.ihredomain/robots.txt aufrufbar sein. Die robots.txt wird von fast allen Suchmaschinen-Bots bei jedem Besuch ausgewertet. Die Datei ist dafür gedacht, um bestimmte Seiteninhalte von der Indizierung in Suchmaschinen fernzuhalten.
Welchen Inhalt sollte die robots.txt haben?
Wenn Sie der Suchmaschine bzw. dem Spider Ihrer gesamten Site auslesen lassen wollen, hat die robots.txt folgenden Inhalt:
User-agent: *
Disallow:
Hier können Sie eine fertige robots.txt downloaden
Natürlich wird Ihre Website auch indiziert, wenn Sie diese Datei nicht haben. Dies führt lediglich zu vielen 404-Meldungen „Seite nicht gefunden“. Speziell MSN mag Seiten mit robots.txt lieber als welche ohne.