Ich habe diese Website erst kürzlich übernommen und daher noch nicht den vollen Überblick über die gesamte Konfiguration – es herrscht noch ein ziemliches Chaos.
Soweit ich sehe, ist die kostenlose Version von Wordfence aktiv, und über das WP-Toolkit von PLESK sind verschiedene Sicherheitsmassnahmen aktiviert. Zur Sicherheit habe ich den Bot-Schutz im WP-Toolkit testweise deaktiviert. Ansonsten gibt es keine spezifische WAF oder Firewall auf dem Server.
Wordfence schliesse ich als Ursache aus, da das Problem auch auf anderen Websites auftritt, auf denen Wordfence gar nicht installiert ist. Bei den Sicherheitsmassnahmen im WP-Toolkit gehe ich davon aus, dass sie den Googlebot korrekt handhaben können, weshalb ich das Problem auch nicht dort vermute.
Merkwürdig finde ich, dass er jedes zweite Mal durchkommt. Werde mal versuchen, in den Logs nach unterscheiden zu suchen. Vielleicht greift der beim zweiten Mal anders zu. Bin aber nicht der Log-File Experte. Wenn da jemand einen Tipp hat vorauf ich achten sollte - gern.
Keine Ahnung - bin ich für jeden Tipp dankbar!