Google fragt nach Erlaubnis per robots.txt gesperrte Seite zu spidern

Im Abakus-Forum hat dp303 eine E-Mail von Google gepostet in der Google nach der Erlaubnis fragt eine Seite zu durchsuchen die derzeit in der robots.txt allen Suchmaschinen das Spidern verbietet. Dazu soll die robots.txt entsprechend geändert werden. Die E-Mail:

Subject: Google would like permission to crawl [domainname]
Date: Wednesday 24 May 2006 19:34
From: “Google Crawl Coverage” To: [persönliche Email Adresse]

Hello,

Google is currently blocked from crawling your site by the robots.txt file
that your server uses to control access by search engines. As a result,
users who are looking for your site are not able to find it using Google.
As you know, a large fraction of internet users use Google as their
starting point and over 50% of search engines referrals come from Google.
Google’s mission is to deliver the best search experience on the Internet
by making the world’s information universally accessible and useful. We
would like to include your site at [domainname] in Google’s index to
make it easier for your users or customers to find your site.

To allow Google to crawl your site, add the following lines to the
robots.txt file:

User-agent: Googlebot
Disallow:

Once you have allowed Google to access your site it can take between 4-6
weeks for your site to appear in our index. For additional information on
getting your site included in our index, please see:

http://www.google.com/webmasters/.

To help Google to crawl your site more effectively, you can create a
Sitemap. For more information, please visit our site at

http://www.google.com/webmasters/sitemaps/docs/en/about.html.

If you do not wish to be contacted regarding inclusion in the Google index
again, please send us an email so that we can remove you from our mailing
list.

Sincerely,

[Name]
The Google Crawl Coverage Team

Irgendwie überrascht mich so eine Aktion von Google überhaupt nicht. Ich weis aber nicht was man sich davon verspricht. Wer in einer robots.txt die Suchmaschinen aussperrt wird schon seine Gründe dafür haben …

Nach einer kleinen Google-Suche scheint diese Mail wohl erstmals im Februar 2005 versendet worden zu sein. Da es aber nicht sehr viele Ergebnisse gibt wurde sie bisher aber wohl noch nicht so oft versendet.