...Werde Fan von Starker Rücken bei Facebook Bandscheiben auf Twitter


Yahoo Slurp: Zwischenbericht

16. März 2008 von Christoph Weigand  
Abgelegt unter: Internet, SEO

Zwei Tage nach meinem Yahoo Slurp-Ausbremsmanöver zeigt sich der Bot bisher von der geänderten robots.txt wenig beeindruckt, denn die Seite wird vom Schlürfer weiterhin auf konstant hohem Niveau gecrawlt.

Yahoo Slurp

Zeit, den Einsatz zu erhöhen und die Crawl Delay auf “10″ zu setzen:

User-agent: Slurp
Crawl-delay: 10

Bericht folgt ;-)

Hier kannst Du kommentieren:

Teil mir Deine Meinung zu diesem Artikel mit:

Vielleicht von Interesse für Dich: