Bisher dachte ich eigentlich die ARD wird recht gut mit GEZ-Geldern versorgt. Die robots.txt der Tagesschau schreit aber wohl nach einer Gebührenerhöhung. Offensichtlich muss man dort an den Server-Kapazitäten sparen. Anders ist diese robots.txt zumindest nicht zu erklären:
# Robots Exclusions for www.tagesschau.de
# based on a robots.txt by S.MuellerUser-agent: *
Disallow: /
Allow: /ausland/
Allow: /inland/
Allow: /wirtschaft/# Google abbremsen mit non-standards
# http://www.google.com/webmasters/3.html#B3User-agent: Googlebot
Disallow: /*.zip$
Disallow: /*.gif$
Disallow: /*.jpg$
Disallow: /
Allow: /aktuell/meldungen/
Allow: /ausland/
Allow: /inland/
Allow: /wirtschaft/# Yahoo News Crawler
User-Agent: Yahoo-Newscrawler
Disallow: /
Allow: /xml/tagesschau-meldungen/
Allow: /xml/suchmaschinen_rss/
Allow: /aktuell/meldungen/
Allow: /ausland/
Allow: /inland/
Allow: /wirtschaft/# Yahoo Multimedia Crawler
User-Agent: yahoo-mmcrawler
Disallow:# POLIXEA – Suchdienst fuer Politik
User-agent: Polixea
Disallow:# Bilder klauen ist nicht die feine Art
User-Agent: Googlebot-Image
Disallow: /# AltaVista’s Photo Finder
User-Agent: vscooter
Disallow: /# Related Links? Wozu denn das?
# Alexa
User-Agent: ia_archiver
Disallow: /# Auch Sauger wollen wir sperren
User-agent: Teleport*
Disallow: /
User-agent: Webwhacker*
Disallow: /
User-agent: Webzip*
Disallow: /
User-agent: Net Attache*
Disallow: /
User-agent: SiteSnagger*
Disallow: /
User-agent: HTTrack*
Disallow: /
User-agent: WebCapture*
Disallow: /
User-agent: WebSauger*
Disallow: /
Wer hat es bittesehr für eine Gute Idee gehalten die Startseite auszuschließen?? So eine schicke PR7-Startseite möchte doch ihren LinkJuice ordentlich auf die Unterseiten verteilen? Und warum muss man den Googlebot denn auch noch ausbremsen? Können die sich keine ordentlichen Server leisten oder macht Google die Sperrung der Startseite ganz verrückt? Würde mich nicht wundern …..
Wirkliche SEO-Ziele können da wohl kaum dahinterstecken, zumal man auch noch Duplicated Content produziert. Beispielsweise gibt es da noch die tageschau.de …
Die weiteren Kommentare sind natürlich auch nicht ohne. Den Texter sollte Beckmann mal einladen, dann schalte ich auch mal ein … soll er uns mal erklären wie man zu dieser robots.txt gekommen ist …
Man merkt der robots.txt auf jeden Fall an, dass man nicht nach jedem Besucher lechzt und kein Geld mit Werbung verdienen muss. Die privatwirtschaftliche Konkurrenz wird es freuen. Dort ist man mittlerweile bei SEO und auch SEM oftmals doch schon sehr bemüht und holt sich entsprechende professionelle Hilfe ins Haus.
Danke an Gulli für den lustigen Hinweis.
{ 1 trackback }
{ 9 comments… read them below or add one }
Dies ist ein Metatest
Die ist ja wirklich süß. Schade, dass ich um die Uhrzeit nicht mehr so laut lachen darf…
Hahahaha das ist ja zu geil. Entsprechen die Befehle zum Ausschließen von Extensions SO der Spezifikation?
Ich bin zumindest auf dem Stand, dass Wildcards in Pfadangaben nicht zulässig bzw. definiert sind und auch das Schlüsselwort “allow” nicht definiert ist. Vielleicht bin ich ja auf einem alten Stand? Wer weiss mehr?! Eine andere Sache wäre natürlich noch, ob der Google-Bot trotz Non-Standard den Blödsinn verarbeitet?!
Habt ihr schon mal gesehen wie der Googlebot in einen Server reinfährt den er gern mag? Jeder der das mal sieht hat Mitleid mit seinem Server und versucht diesen zu schützen. Meine Erfahrung zeigt, dass es gut ist neben den Webmaster Tools auch die robots.txt zu optimieren.
Die dürfen ja eh keine Werbung schalten… von daher wollen die wohl auch gar keine Besucher
Furchtbar, was da so alles mit GEZ-Geldern zusammengestümpert wird
Und diese Kommentare da zwischendrin…köstlich 
Die Kommentare sind das beste. Wenn der Macher dieser robots.txt mal vorgestellt wird bin auch ich dabei…
Mich würde mal interessieren was aus dem gespräch geworden ist.