So, nächster Versuch, vielleicht weiß ja hier einer was.
Bing produziert bei mir immer wieder Fehler 403 und das beim Zugriff auf die robots.txt. Diese ist aber vorhanden und freigegeben. So wie es scheint, bin ich nicht alleine damit, aber mal wieder hat keiner eine Lösung dafür.
Das ist exakt das, was ich auch habe. Nur, dass ich kein mod_security nutze...
https://webmasters.stackexchange.com/questions/1358…-reject-the-1st
Dann gibt es noch genug andere Posts aus den Jahren 2015 bis 2019..... Alle ohne Lösung.
Ergebnis ist hier aber auch entsprechend.
40.77.167.102 - - [05/Jan/2022:14:18:45 +0100] "GET /robots.txt HTTP/2.0" 403 386 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
40.77.167.102 - - [05/Jan/2022:14:18:45 +0100] "GET /robots.txt HTTP/1.1" 200 2416 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
40.77.167.102 - - [05/Jan/2022:14:18:45 +0100] "GET /robots.txt HTTP/2.0" 200 682 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"Also drei Abrufe, zeitgleich. Und immer der erste Zugriff davon mit einem 403. Es handelt sich dabei um direkte Zugriffe, also keine Weiterleitungen oder so.
Habe nun auch schon alles mehrfach durch, also mit SSL und ohne, mit www und ohne. Ich kann das nicht reproduzieren. Andere Logs sagen auch nichts, wie in dem Link oben. Da steht einfach nur immer wieder der 403 im Access-Log und das war alles.
