Sagt mal, geht das nur mir so? In den letzten Monaten häufen sich die Probleme, dass die Robots.txt angeblich nicht angerufen werden kann. Ich sehe keinen Grund, warum das so sein sollte. Eine statische Datei, die über Jahre einfach da ist, geht mal und geht mal nicht? Das im Bild ist nur ein Beispiel, weil eben auch aktuell von heute, aber das Spiel habe ich fast überall....
Im Logfile steht dazu:
66.249.70.196 - - [03/Jan/2024:11:31:44 +0100] "GET /robots.txt HTTP/1.1" 200 5863 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
Wäre mir auch völlig egal, wenn ich just auf der Domain da nicht massive Index-Probleme hätte. Versuche da nun schon seit 8 Wochen eine Seite in den Index zu bekommen, die angeblich auch im Index ist, aber nicht auffindbar. Kann die aber auch melden, wie ich lustig bin, das "letzte Crawling" ändert sich nicht, bleibt beim 30.10.23