Nachdem sich der
FAST-Crawler heute den ganzen Tag hier im Blog rumgetrieben hat, ist es mir zuviel geworden. Ich habe mir eine robots.txt-Datei angelegt, in der ich ausdrücklich den Crawler ausgesperrt habe. Gerade habe ich im Log nachgesehen: Der letzte Zugriff von der entsprechenden IP war um 20 Uhr, und dabei hat er sich nur die robots.txt abgeholt. Auf einmal werden auch meine Statistiken wieder übersichtlicher
Schon ein paar Tage habe ich dauernden Besuch von crawler-gw-01.bos3.fastsearch.net. Laut den Angaben, die der crawler als Agent ausgibt, handelt es sich um 'FAST Enterprise Crawler 6
/ Scirus scirus-crawler@fast.no; http://www.scirus.com/srsapp/contactus/'. Da habe ich mich gestern auch mal gemeldet, weil mein Blog definitiv keine 'scientific information' enthält. Die Antwort hat auch nicht lange auf sich warten lassen, man wisse nicht, warum der Crawler auf meiner Seite rumkrieche, und werde das gleich abstellen lassen. Leider hat das mit dem Abstellen aber noch nicht geklappt, das Viech kriecht hier immernoch rum und erzeugt Last, die auch ganz gut anderweitig verwendet werden könnte.
Ich sehe gerade, dass ich eben einen Besucher von einer *.t-ipconnect.de-Adresse (Telekom-Reseller kriegen den Adressraum, glaube ich) hatte, der als UserAgent 'GoogleBot' angegeben hat. Nein, das war mit Sicherheit nicht ein echter GoogleBot. Aber so fällt man in der Statistik natürlich schnell auf