Langsam wird's nervig
Schon ein paar Tage habe ich dauernden Besuch von crawler-gw-01.bos3.fastsearch.net. Laut den Angaben, die der crawler als Agent ausgibt, handelt es sich um 'FAST Enterprise Crawler 6
/ Scirus scirus-crawler@fast.no; http://www.scirus.com/srsapp/contactus/'. Da habe ich mich gestern auch mal gemeldet, weil mein Blog definitiv keine 'scientific information' enthält. Die Antwort hat auch nicht lange auf sich warten lassen, man wisse nicht, warum der Crawler auf meiner Seite rumkrieche, und werde das gleich abstellen lassen. Leider hat das mit dem Abstellen aber noch nicht geklappt, das Viech kriecht hier immernoch rum und erzeugt Last, die auch ganz gut anderweitig verwendet werden könnte.
Trackbacks
Compyblog am : Ich bin ihn los
Vorschau anzeigen
Nachdem sich der FAST-Crawler heute den ganzen Tag hier im Blog rumgetrieben hat, ist es mir zuviel geworden. Ich habe mir eine robots.txt-Datei angelegt, in der ich ausdrücklich den Crawler ausgesperrt habe. Gerade habe ich im Log nachgesehen: Der let
Kommentare
Ansicht der Kommentare: Linear | Verschachtelt