Yahoo Slurp ausbremsen
13. März 2008 von Christoph Weigand
Abgelegt unter: SEO
Nachdem einige Tage nach der Installation des Bot (Crawl) Tracker Plugins die Bot-Statistiken vermelden, daß der Yahoo Slurp ein ziemlich hohes Aktivitätsniveau aufweist und auch die “echten” Logfiles des Servers keine gegenteilige Feststellung untermauern könnten,
habe ich beschlossen, den Slurp über die robots.txt etwas auszubremsen. Bei geschätzten 10 Besuchern pro Tag, die über Yahoo auf meine Seite gelangen, ist es einfach nicht nötig, daß der Kleine so auf dem starken Rücken ‘rumturnt – wir wollen doch Rückenschmerzen möglichst vermeiden 
Laut Yahoo-Hilfe genügt ein kleiner Eintrag in der robots.txt, um den Schlürfer in die Schranken zu weisen (für genauere Infos bitte die Hilfe bei Yahoo lesen):
User-agent: Slurp
Crawl-delay: XX (Anm.: X=Platzhalter)
Crawl-delay hab’ ich einfach probeweise auf “5″ gesetzt. Mal sehen, was sich verändert. Bericht folgt !
Interessante Sache, was hatte yahoo denn vorher für Probleme gemacht ? Server lahm gemacht oder zu viel Traffic ?
Yahoo hat keine Probleme gemacht. Das ist eher als Service für Linkbuilder zu sehen. Je mehr Ressourcen ich über solche Maßnahmen frei mache, desto mehr können die Jungs sich hier austoben.
Bei mir hat Crawl-delay leider nichts gebracht weil yahoo trotzdem meine ganzen 50 http-preforks paralel zuballert. Darum habe ich yahoo jetzt mit disallow:* komplett rausgeworfen.
Auch ‘ne Möglichkeit, Rainer. Und bei drei “Yahoo-Besuchern”/Tag sicher auch im Toleranzbereich