John Mueller streut mal wieder ( Google )

  • John Mueller sagt das andere Crawler das Crawl Budget von Google mindern können. Es gibt bei Google dieses Crawl Budget, das ist abhängig von den Seiten und deren Geschwindigkeit.
    Verbessern kann man dies durch htaccess sperrungen, bzw zB den Bingbot ausschliessen per robots.txt


    Das ist die logische Schlussfolgerung :(


    Selber gehe ich mit einem Projekt auf Gigabit anbindung, da ich das dort benötige. Hab Millionen von Crawls dort / mon und werde allerdings NICHT irgendwelche andere vertrauenswürdige Bots aussperren...


    Wie sehr ihr das?

    wenn etwas möglich erscheint mach ich das, wenn das nicht klappt gehts ans unmögliche und ansonsten das undenkbare.

    Ich denke, also BING ich!


    Support 24h Bereitschaft 0163 2161604 - NUR Für Kunden von SEO NW!

  • Für mich ist das wieder mal typisch Google.
    Suggerieren, dass der Googlebot öfter vorbei kommt, wenn man andere Suchmaschinen aussperrt.
    Google möchte wohl, dass sie mehr Seiten listen können, die andere Suchmaschinen nicht haben.
    Woran erinert mich das? Ist Google auch ein Igel?

  • Nunja, in dem Post wird nicht klar, was er gesagt hat und was die Schlussfolgerung ist....


    Das hier jedenfalls ist korrekt

    Zitat

    John Mueller sagt das andere Crawler das Crawl Budget von Google mindern können. Es gibt bei Google dieses Crawl Budget, das ist abhängig von den Seiten und deren Geschwindigkeit.


    Sollte man nun aber nicht so ernst nehmen und Google da was unterstellen, denn das machen die anderen Großen auch so. Genauso kann also der Google-Bot den Bing-Bot benachteiligen.


    Meine Schlussfolgerung? Die Seiten schneller machen. Je schneller, desto mehr Suchmaschinen können gleichzeitig drauf. Und nein, die Anbindung alleine ist es nicht. Es bringt nichts, eine schnelle Anbindung zu haben, wenn die Software langsam ist. Unnötige Bots sperren, gibt ja genug, wo noch nicht mal eine öffentliche Suma dahinter steht, die aber 10 oder 20 Seiten pro Sekunde abfragen.


    Ist halt ein Teufelskreis. Ist die Seite langsamer, dann fallen diese Pseudo-Bots mehr ins Gewicht und wirken sich mehr auf die echten Bots aus. Die echten Bots fahren die Crawling-Rate zurück, die Pseudo-Teile interessiert das aber gar nicht, die machen genau weiter wie vorher.