Einen interessanten Versuch hat Brett Tabke vom Webmasterworld-Forum gestartet. Er hat mit folgenden 2 Zeilen in der robots.txt alle Suchmaschinen vom Spidern der Seite ausgeschlossen:
User-agent: *
Disallow: /
Man darf gespannt sein wie die großen Suchmaschinen auf die robots.txt reagieren. Grund für diese drastische Aktion sind alleine 12 Millionen Pageviews durch “böse” Bots in einer Woche.
{ 2 comments… read them below or add one }
Schätze mal da wird Google sich nicht dran halten, aber schon Krass
Ich bin mir ziemlich sicher, dass sich Google etc daran halten wird. Der Grund für das Ganze sowie die Maßnahmen kann ich persönlich nicht genau nachvollziehen. Aber ich bin mir sicher, dass Brett sich das reiflich überlegt hat und es deswegen sinnvoll ist.