Spider-Trap
24. März 2007 | Kategorie: wwwLetzte Woche habe ich Spider-Trap mal getestet und hier eingebaut. Seither gehen regelmässig Webcrawler in die Falle, die ohne auf die robots.txt zu achten, einfach alle Links abgrasen. Die Falle für die Webcrawler/Spider ist hier im Blog im Header und der Startseite ebenfalls über dem Logo eingebunden (für ‘normale’ Benutzer nicht zu sehen). Sobald man diesem Link aufruft wird die entsprechende IP sofort gesperrt. Natürlich gibt es auf der Fehlerseite die Möglichkeit, die Sperre aufzuheben, falls jemand versehentlich diesen Link aufruft – oder um die Funktion zu testen. 
Mal beobachten, was das tatsächlich bringt. Denn ich möchte schliesslich nur böse Spider aussperren. Und keine echten Besucher. 
Die Datei index.php in dem Ordner ~314512974170 (zur Zeit) ist die Falle für die bösen Webcrawler. Zur Sicherheit werde ich diesen Ordner unregelmässig umbenennen. 
Für alle, die nicht wissen was ein Webcrawler/Spider ist, empfiehlt sich ein Blick in die Wikipedia.
Link zu Spider-Trap: www.spider-trap.de
Nachtrag: Habs vorerst deaktiviert. Fehler meinerseits.
--------------------------------------------------------------------------------------------
Keine ähnliche Beiträge gefunden...
