Bing: Fehler 403 robots.txt

  • So, nächster Versuch, vielleicht weiß ja hier einer was.


    Bing produziert bei mir immer wieder Fehler 403 und das beim Zugriff auf die robots.txt. Diese ist aber vorhanden und freigegeben. So wie es scheint, bin ich nicht alleine damit, aber mal wieder hat keiner eine Lösung dafür.


    Das ist exakt das, was ich auch habe. Nur, dass ich kein mod_security nutze...

    When Bing requests a sitemap or a robots.txt, why do I see Apache reject the 1st request with a 403, followed immediately by a 2nd successful request?
    This is a small issue that has been ongoing for quite some time. When I check my Apache server log for 403's, all entries are related to Bing, and all from…
    webmasters.stackexchange.com


    Dann gibt es noch genug andere Posts aus den Jahren 2015 bis 2019..... Alle ohne Lösung.


    Ergebnis ist hier aber auch entsprechend.


    Code
    40.77.167.102 - - [05/Jan/2022:14:18:45 +0100] "GET /robots.txt HTTP/2.0" 403 386 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
    40.77.167.102 - - [05/Jan/2022:14:18:45 +0100] "GET /robots.txt HTTP/1.1" 200 2416 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
    40.77.167.102 - - [05/Jan/2022:14:18:45 +0100] "GET /robots.txt HTTP/2.0" 200 682 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"


    Also drei Abrufe, zeitgleich. Und immer der erste Zugriff davon mit einem 403. Es handelt sich dabei um direkte Zugriffe, also keine Weiterleitungen oder so.


    Habe nun auch schon alles mehrfach durch, also mit SSL und ohne, mit www und ohne. Ich kann das nicht reproduzieren. Andere Logs sagen auch nichts, wie in dem Link oben. Da steht einfach nur immer wieder der 403 im Access-Log und das war alles.