Ich bin ihn los
Nachdem sich der FAST-Crawler heute den ganzen Tag hier im Blog rumgetrieben hat, ist es mir zuviel geworden. Ich habe mir eine robots.txt-Datei angelegt, in der ich ausdrücklich den Crawler ausgesperrt habe. Gerade habe ich im Log nachgesehen: Der letzte Zugriff von der entsprechenden IP war um 20 Uhr, und dabei hat er sich nur die robots.txt abgeholt. Auf einmal werden auch meine Statistiken wieder übersichtlicher