Skip to content

Langsam wird's nervig

Schon ein paar Tage habe ich dauernden Besuch von crawler-gw-01.bos3.fastsearch.net. Laut den Angaben, die der crawler als Agent ausgibt, handelt es sich um 'FAST Enterprise Crawler 6 / Scirus scirus-crawler@fast.no; http://www.scirus.com/srsapp/contactus/'. Da habe ich mich gestern auch mal gemeldet, weil mein Blog definitiv keine 'scientific information' enthält. Die Antwort hat auch nicht lange auf sich warten lassen, man wisse nicht, warum der Crawler auf meiner Seite rumkrieche, und werde das gleich abstellen lassen. Leider hat das mit dem Abstellen aber noch nicht geklappt, das Viech kriecht hier immernoch rum und erzeugt Last, die auch ganz gut anderweitig verwendet werden könnte.

Trackbacks

Compyblog am : Ich bin ihn los

Vorschau anzeigen
Nachdem sich der FAST-Crawler heute den ganzen Tag hier im Blog rumgetrieben hat, ist es mir zuviel geworden. Ich habe mir eine robots.txt-Datei angelegt, in der ich ausdrücklich den Crawler ausgesperrt habe. Gerade habe ich im Log nachgesehen: Der let

Kommentare

Ansicht der Kommentare: Linear | Verschachtelt

Noch keine Kommentare

Kommentar schreiben

HTML-Tags werden in ihre Entities umgewandelt.
Standard-Text Smilies wie :-) und ;-) werden zu Bildern konvertiert.
Die angegebene E-Mail-Adresse wird nicht dargestellt, sondern nur für eventuelle Benachrichtigungen verwendet.

Um maschinelle und automatische Übertragung von Spamkommentaren zu verhindern, bitte die Zeichenfolge im dargestellten Bild in der Eingabemaske eintragen. Nur wenn die Zeichenfolge richtig eingegeben wurde, kann der Kommentar angenommen werden. Bitte beachten Sie, dass Ihr Browser Cookies unterstützen muss, um dieses Verfahren anzuwenden.
CAPTCHA

BBCode-Formatierung erlaubt
Formular-Optionen