Nähere Beschreibungen und Beispiele im Yahoo Search Blog. Google unterstützt ebenfalls die Nutzung von Wildcards. Dazu mehr Infos im Google Webmaster Help Center.
Yahoo! Search Crawler (Yahoo! Slurp) unterstützt jetzt Wildcards in der robots.txt
Previous post: 100 Millionen Websites
Next post: Erster AdSense-Block im Quelltext hat die teuersten Klickpreise
{ 1 comment… read it below or add one }
Hmmm, ist damit auch Ordnermäßgiges gemeint?, wie diasslow: /*/feed/ ?, habe das bisher über das nofollow attribut gelöst …. ^^