Yahoo Slurp versteht mich nicht
Auch die vor einigen Tagen in der robots.txt vermerkte Höchstdosis des Crawl-Delays von Yahoo hält den Slurp nicht davon ab, sich auf meiner Seite auszutoben:

Zwar zeigte sich kurzfristig ein deutliche Verringerung der Crawling-Frequenz (Kreis unten, Kurvenverlauf parallel zum Googlebot - interessant), auf den aber von ein neuerlicher Peak (Kreis oben) folgte.
Zweifel an der Aussagekraft des Plugins könnten weiterhin angemeldet werden (da nur die gemeldeten User Agents gezählt werden), allerdings glaube ich nicht, daß falsch positive Bots das Ergebnis in der grundsätzlichen Tendenz verfälschen.
Insofern muß ich wohl davon ausgehen, daß der Yahoo Slurp nicht die Sprache meiner robots.txt spricht bzw. das die von Yahoo ausgesprochenen Empfehlungen einfach nicht berücksichtigt werden.
Feed abonnieren, Beitrag emailen oder bookmarken...
Kommentare:
2 Kommentare zu “Yahoo Slurp versteht mich nicht”
Kommentieren:
« Interne Verlinkung im Osterloch | Bandscheiben-Blog:Start | Osterausflug gefällig ? »
Vielleicht von Interesse für Dich:



Ist bei mir zu zeit auch so, Yahoo mag mich eher als Google, was daran liegt das kaum artikel bei mir veröffentlicht werden.
Über mangelnde Sympathie seitens Google kann ich mich nicht beklagen, eher über einen zu hohen “Aufwand” von Yahoo in Relation zum Resultat in Form von Besuchern von diesem Referrer