Bing fragt jetzt sogar nach, ob noch mehr gecrawlt werden darf. Zurzeit sind das 1 Millionen crawls pro Tag. Ich habe mal "ja" gesagt und denke das hält der Server aus.
[SIZE=12px]Crawloptimierung. Zulassen, dass die Crawlgeschwindigkeit von Bing weiter erhöht wird, um die Indexabdeckung in der Domäne zu erhöhen. Die stündliche Crawlsteuerung ist relativ und weiterhin gültig.[/SIZE]
Problem „Crawling-Politeness“ bei "Domain"
Ist doch mal schön wenn man ein gutes Crawling Budget hat und dann noch nachgefragt wird. Um welche Seiten es sich handelt, wisst ihr sicherlich.