...Werde Fan von Starker Rücken bei Facebook Bandscheiben auf Twitter


Bot Watch

9. März 2008 von Christoph Weigand  
Abgelegt unter: Kurioses, SEO

Einige Zeit ist nach der Installation des Bot- bzw. Crawl Rate Tracker Plugins vergangen.
Mal schauen, wie’s um das Aktivitätsniveau der Bots bestellt ist ;-)

Der MSNbot liegt laut Plugin abgeschlagen auf dem dritten Platz, während Yahoo Slurp und Googlebot abwechselnd die Pole-Position einnehmen.

Angeblich hat der Googlebot am 3. März meine Seite (Unterseiten) 554x besucht – ob ich das glauben soll ?
Hat einer von Euch das Plugin in Betrieb und ggf. einen Datenabgleich mit anderen Logfiles vorgenommen ?

Bei Durchsicht der Daten der jeweils gecrawlten Seiten fällt auf, daß z. B. der Slurp innerhalb von einer Stunde 9x die gleiche URL gecrawlt haben soll (ohne daß Veränderungen an der Seite vorgenommen wurden – kein neues Ping o.ä.). Kommt mir etwas übertrieben vor. Vielleicht ein Hänger beim Server und immer wieder neu angesetzt ?

Bot in Aktion

Kommentare:

3 Kommentare zu “Bot Watch”
    • Metty sagt:

      Da ich mich mit dem Thema Bots auch schon das ein oder andere Mal auseinandergesetz habe, zwar eher in Richtung BadBots, würde mich interessieren wie das Plugin arbeitet, bei läufts ja leider nicht.
      Schaut es auf die IP und kennt die off. Bots der Suchmaschinen? Oder schaut es einfach nur auf den UA?
      Das Slurp sooft auf die gleiche URL schaut ist seltsam. Was ich aber noch viel seltsamer finde ist das Slurp verdammt viel öfter als GoogleBot vorbeischaut aber die Zahl der Besucher via Yahoo gegen null geht :-)
      Nutzt Du das Sitemap-Plugin?

    • Interessiert sich nur für den User Agent (da wird’s wohl ein paar “Fehlinterpretationen” geben, aber der grundsätzliche Trend dürfte stimmen).
      “Besucherzahlen”:
      Na ja, mit Yahoo wird eben recht selten gesucht.
      Allerdings hat Yahoo noch vor kurzer Zeit neue Beiträge verdammt schnell indexiert (mittlerweile dauert’s wieder ein paar Tage). Derzeit ist offensichtlich sogar msn etwas schneller.

      Das Google Sitemaps Plugin ? Nein, Blog liegt im Unterverzeichnis, klappt nicht.
      “Normales” Sitemap Plugin ist im Einsatz (s. Navi)

Trackbacks

Das sagen andere Blogs zu diesem Artikel:


Hier kannst Du kommentieren:

Teil mir Deine Meinung zu diesem Artikel mit:

Vielleicht von Interesse für Dich: