Vor einigen Tagen berichtete ich davon, dass der Mediapartners-Bot nicht nur für AdSense Seiten indexiert, sondern auch den Google-Cache aktualisiert. Matt Cutts hat in seinem Blog jetzt einen ausführlichen Beitrag zum neuen “Crawl Caching Proxy” geschrieben. Dieser wurde mit dem Bigdaddy-Update eingeführt und soll Bandbreite für Webmaster und Google sparen.
Im Zusammenhang mit dem Google Cache möchte ich auch kurz auf einen Thread im Abakus-Forum hinweisen: Neue Domain, sinkende Anzahl an Sites im Index (Google). (Oder auch bei Webmasterworld.) Dort berichten so einige davon, das viele Seiten ihrer Webseite aus dem Google-Index verschwunden sind. Wer also in den letzten Tagen einen besonders extremen Besuchereinbruch hatte oder aber viele Seite im Google-Index vermisst, sollte sich den Thread einmal näher anschauen. Bei mir ist eine Domain betroffen. Von 200.000 Seiten auf 50.000 Seiten runter. Heute geht es allerdings wieder auf 80.000 Seiten rauf. Derzeit fehlen vor allem Seiten, die am meisten Ebenen von der Startseite entfernt sind. Mal schaun – ich denke mit etwas Zeit wird sich das Problem von alleine beheben. Man könnte natürlich jetzt darüber spekulieren ob dieses Problem mit dem neuem “Crawl Caching Proxy” zusammenhängt …
{ 2 trackbacks }
{ 2 comments… read them below or add one }
Ich beobachte das Phänomen stark schwankender Seitenanzahlen auf großen Domains schon seit einigen Monaten. Bei von mir beobachteten Domains hat sich das Ergebnis leider auf im Vergleich zum Vorjahr deutlich niedrigerem Niveau wieder eingependelt.
Der Seitenaufbau auf neuen Domains funktioniert hingegen erstaunlich gut. Ich befürchte jedoch, dass der Google-Bot sehr wählerisch geworden ist, was die Seitenaufnahme im hohen 5-stelligen oder noch größenen Bereich angeht.
Könnte sein, dass die Menge in den Google-Index aufgenommener Seiten mehr denn je von der Reputation der jeweiligen Seite abhängt. Ich glaube aber nicht, dass der Seitenschwund etwas mit dem Proxy zu tun hat – eher damit, dass die Suchmaschinenbetreiber es immer schwerer haben, mit den täglich wachsenden Informationsmengen umzugehen. Es würde mir deshalb logisch erscheinen, wenn man das Deep-Spidering – also die Indizierung von Unter-Unter-Unter-Verzeichnissen (vielleicht vorübergehend) reduziert hätte.
Mich wundert es, dass der Useragent noch nicht “standardisiert” wurde. Wenn die Inhalte sowieso für alle Dienste verwendet werden ist es fast egal für was der Bot ursprünglich vorgesehen war.