Ich bin ihn los
Nachdem sich der FAST-Crawler heute den ganzen Tag hier im Blog rumgetrieben hat, ist es mir zuviel geworden. Ich habe mir eine robots.txt-Datei angelegt, in der ich ausdrücklich den Crawler ausgesperrt habe. Gerade habe ich im Log nachgesehen: Der letzte Zugriff von der entsprechenden IP war um 20 Uhr, und dabei hat er sich nur die robots.txt abgeholt. Auf einmal werden auch meine Statistiken wieder übersichtlicher
Kommentare
Ansicht der Kommentare: Linear | Verschachtelt