John Mueller sagt das andere Crawler das Crawl Budget von Google mindern können. Es gibt bei Google dieses Crawl Budget, das ist abhängig von den Seiten und deren Geschwindigkeit.
Verbessern kann man dies durch htaccess sperrungen, bzw zB den Bingbot ausschliessen per robots.txt
Das ist die logische Schlussfolgerung
Selber gehe ich mit einem Projekt auf Gigabit anbindung, da ich das dort benötige. Hab Millionen von Crawls dort / mon und werde allerdings NICHT irgendwelche andere vertrauenswürdige Bots aussperren...
Wie sehr ihr das?