Microsoft kündigt vorsichtshalber schon einmal an, dass der MSNbot zukünftig aktiver wird um so einen aktuelleren Index zu haben. Man weisst allerdings auch gleichzeitig darauf hin, dass der Bot mit folgenden robots.txt-Eintragungen ausgebremst werden kann:
Slow (wait 5 seconds between each request)
Crawl-delay: 5
Really Slow (wait 10 seconds between each request)
Crawl-delay: 10
{ 3 comments… read them below or add one }
Ist das MSN Spezifisch oder wird das aus der robot.txt auch von Google und anderen benutzt ?
Die Frage, die sich mir stellt ist: “Welche Auswirkung hat dieser Eintrag in der robots.txt – Datei?”. Wird dadurch die Qualität erhöht?
Ralph
Ich habe gehört, das MSNBot sehr aggresiv crawlt.
Lg Leslie