Dann ist das bisher die heißeste Spur.
Dein Provider wird einen ähnlichen Algorithmus haben wie meiner, und die Bot-Zugriffe regulieren.
Bei 689 Bot-Anfragen am Tag mit sagen wir 40 angefragten Ressourcen pro Seitenanfrage, löst das 27.560 Bot-Interaktionen am Server aus.
mein Provider hat bestätigt, dass dann ihr Algorithmus eingreift, und die Anfragen/h limitiert (DDOS-Protection), da der Anfragentakt auf dem Server anorganisch fremd jeden Maßes ansteigt.
Deswegen ist der Fehler auch nicht immer gleich, und niemals 1:1 reproduzierbar.
Lösung: Crawling in der robots.txt auf 1x/d runterregulieren, sodass die Crawlingaktivitäten auf dem Server max. 100%/Seitenanzahl/Tag entspricht.
Das ist quasi bei jedem Provider noch in der Normofrequenz, und wird nicht abreguliert.
Ich würde an deiner Stelle deinen Provider mal anschreiben und genau das erfragen. Sollte er das bestätigen, dann haben wir den Fehler gefunden, und können das in den anderen Foren kundtun, und für die Zukunft auf die Checkliste setzen.
Weitere Indizien dafür sind abnormal lange Renderingzeiten bei „Abruf wie durch google“.
Dass Pagespeed Insights problemlos funktioniert, scheint damkt zu tun haben, dass dieser Bot eine andere IP hat.