John Mueller streut mal wieder ( Google )

Alex07

John Mueller sagt das andere Crawler das Crawl Budget von Google mindern können. Es gibt bei Google dieses Crawl Budget, das ist abhängig von den Seiten und deren Geschwindigkeit.
Verbessern kann man dies durch htaccess sperrungen, bzw zB den Bingbot ausschliessen per robots.txt

Das ist die logische Schlussfolgerung

Selber gehe ich mit einem Projekt auf Gigabit anbindung, da ich das dort benötige. Hab Millionen von Crawls dort / mon und werde allerdings NICHT irgendwelche andere vertrauenswürdige Bots aussperren...

Wie sehr ihr das?

Schwede

Wenn Deine Schlussfolgerung richtig ist, kann ich zu Mr. Mueller nur sagen: "Go me from the acre with your shit!"

KAW

Für mich ist das wieder mal typisch Google.
Suggerieren, dass der Googlebot öfter vorbei kommt, wenn man andere Suchmaschinen aussperrt.
Google möchte wohl, dass sie mehr Seiten listen können, die andere Suchmaschinen nicht haben.
Woran erinert mich das? Ist Google auch ein Igel?

Synonym

Nunja, in dem Post wird nicht klar, was er gesagt hat und was die Schlussfolgerung ist....

Das hier jedenfalls ist korrekt

Zitat

John Mueller sagt das andere Crawler das Crawl Budget von Google mindern können. Es gibt bei Google dieses Crawl Budget, das ist abhängig von den Seiten und deren Geschwindigkeit.

Sollte man nun aber nicht so ernst nehmen und Google da was unterstellen, denn das machen die anderen Großen auch so. Genauso kann also der Google-Bot den Bing-Bot benachteiligen.

Meine Schlussfolgerung? Die Seiten schneller machen. Je schneller, desto mehr Suchmaschinen können gleichzeitig drauf. Und nein, die Anbindung alleine ist es nicht. Es bringt nichts, eine schnelle Anbindung zu haben, wenn die Software langsam ist. Unnötige Bots sperren, gibt ja genug, wo noch nicht mal eine öffentliche Suma dahinter steht, die aber 10 oder 20 Seiten pro Sekunde abfragen.

Ist halt ein Teufelskreis. Ist die Seite langsamer, dann fallen diese Pseudo-Bots mehr ins Gewicht und wirken sich mehr auf die echten Bots aus. Die echten Bots fahren die Crawling-Rate zurück, die Pseudo-Teile interessiert das aber gar nicht, die machen genau weiter wie vorher.