...Werde Fan von Starker Rücken bei Facebook Bandscheiben auf Twitter


Yahoo Slurp ausbremsen

13. März 2008 von Christoph Weigand  
Abgelegt unter: SEO

Nachdem einige Tage nach der Installation des Bot (Crawl) Tracker Plugins die Bot-Statistiken vermelden, daß der Yahoo Slurp ein ziemlich hohes Aktivitätsniveau aufweist und auch die “echten” Logfiles des Servers keine gegenteilige Feststellung untermauern könnten,

Yahoo Slurp in Führung

habe ich beschlossen, den Slurp über die robots.txt etwas auszubremsen. Bei geschätzten 10 Besuchern pro Tag, die über Yahoo auf meine Seite gelangen, ist es einfach nicht nötig, daß der Kleine so auf dem starken Rücken ‘rumturnt – wir wollen doch Rückenschmerzen möglichst vermeiden ;-)

Laut Yahoo-Hilfe genügt ein kleiner Eintrag in der robots.txt, um den Schlürfer in die Schranken zu weisen (für genauere Infos bitte die Hilfe bei Yahoo lesen):

User-agent: Slurp
Crawl-delay: XX (Anm.: X=Platzhalter)

Crawl-delay hab’ ich einfach probeweise auf “5″ gesetzt. Mal sehen, was sich verändert. Bericht folgt !

Kommentare:

6 Kommentare zu “Yahoo Slurp ausbremsen”
    • Noack sagt:

      Interessante Sache, was hatte yahoo denn vorher für Probleme gemacht ? Server lahm gemacht oder zu viel Traffic ?

    • Yahoo hat keine Probleme gemacht. Das ist eher als Service für Linkbuilder zu sehen. Je mehr Ressourcen ich über solche Maßnahmen frei mache, desto mehr können die Jungs sich hier austoben.

    • Rainer sagt:

      Bei mir hat Crawl-delay leider nichts gebracht weil yahoo trotzdem meine ganzen 50 http-preforks paralel zuballert. Darum habe ich yahoo jetzt mit disallow:* komplett rausgeworfen.

    • Auch ‘ne Möglichkeit, Rainer. Und bei drei “Yahoo-Besuchern”/Tag sicher auch im Toleranzbereich ;-)

Trackbacks

Das sagen andere Blogs zu diesem Artikel:
  1. [...] auf den aber von ein neuerlicher Peak (Kreis oben) folgte. Zweifel an der Aussagekraft des Plugins könnten weiterhin angemeldet werden (da nur die gemeldeten User Agents gezählt werden), [...]



Hier kannst Du kommentieren:

Teil mir Deine Meinung zu diesem Artikel mit:

Vielleicht von Interesse für Dich: