Yahoo Slurp: Zwischenbericht
16. März 2008 von Christoph Weigand
Abgelegt unter: Internet, SEO
Zwei Tage nach meinem Yahoo Slurp-Ausbremsmanöver zeigt sich der Bot bisher von der geänderten robots.txt wenig beeindruckt, denn die Seite wird vom Schlürfer weiterhin auf konstant hohem Niveau gecrawlt.
Zeit, den Einsatz zu erhöhen und die Crawl Delay auf “10″ zu setzen:
User-agent: Slurp
Crawl-delay: 10
Bericht folgt 
