Spider Trap ist seit kurzem in der Version 1.0 verfügbar. Grund genug einmal einen genaueren Blick auf Spider Trap zu werfen.
Was ist Spider Trap und wie funktioniert es?
Ganz simpel erklärt: Ein normaler “guter” Robot wird sich an die Einschränkungen der robots.txt halten. Spider Trap stellt durch ein per robots.txt gesperrtes Unterverzeichnis eine Falle für die “bösen” Robots auf. Dieses Verzeichnis wird jetzt von den normalen zu indexierenden Seiten verlinkt. Spidert der Robot nun trotz der robots.txt-Sperrung auch das Unterverzeichnis, ist er als “böser” Robot identifiziert und kann gesperrt werden. Die Funktionsweise wird hier genauer erklärt.
Welche Probleme bereiten diese “bösen” Robots? Dazu ein Zitat von der Spider Trap-Webseite:
- Auslesen der mailto:-Addressen auf der Website um Spam Mails zu generieren
- Diebstahl von Bildern (Mister Pix usw)
- "Grabben" von Inhalt (Content Klau)
- Spider die nach Markenrechtlichen Verstössen suchen. (Wichtig z.B. bei Foren)
- Spamattacken auzf den Server durch eine Vielzahl von Abrufen
Links: Download – Installationsanleitung
Wer einfach mal ausprobieren möchte. Beim SEO Radio einfach mal auf das Spinnen-Bild klicken.
