Bing: Trailing-Slash, SSL, www, HEX-Code, Kleinschreibung etc

Sagt mal, kann man Bing irgendwie beibringen, die URLs so aufzurufen, wie sie hinterlegt sind und nicht anders? Bei Google gibt es da ja was wie die "bevorzugte Domain", bei Bing finde ich nix.

Ist nicht wirklich ein Problem, aber es nervt.

Bing ruft prinzipiell alle URLs mit einem "Trailing-Slash" erst mal ohne auf. Das erzeugt einen 301. Bing tut es immer und immer wieder.

Ebenso ruft Bing alle URLs erst mal als HTTP und nicht als HTTPS auf. Auch das erzeugt einen 301.

Dann ruft Bing das Ganze auch noch ohne www auf. Immer und immer wieder. Auch hier, ein 301.

Dieses ganze "dreihundertgeeinse" nervt gewaltig, vor allem weil Bing damit nicht aufhört. Teilweise sind das 3-4 301 in Folge, geht technisch nicht anders. Alleine schon der Aufruf von http://domain, also ohne SSL und ohne www muss 2 301 erzeugen. Erst von http-ohne-www nach https-mit-www und dann von "https-ohne-www" nach "https-mit-www".

Dazu kommt dann noch, dass URLs ebenso prinzipiell als Kleinschreibung aufgerufen werden. Die sind aber nicht lowercase. Warum tut Bing das ständig? In Index sind sie richtig, aber der Bot ruft die immer in Kleinschreibungen ab und dann hagelt es 301 oder eben Canonical.

So, und damit das nicht genug ist, kombiniert Bing das auch noch alles miteinander. Da kommen dann ganz komische URLs bei raus, die dann, leider, teils auch einen 404 erzeugen. So viel umwandeln und filtern kann ich gar nicht, was Bing da an Mist erzeugt. Zumal Google das ganze "dreihundertgeeinse" teilweise als Soft-404 einstuft.

Mischung: So wird bei Bing z.B. aus der URL "https://www.domain.de/unterkuenfte/a…rger-Friesland/" ein "http://domein.de/unterkuenfte/a…urger-friesland"

Da stimmt ja gar nix. SSL fehlt, www fehlt. Das "f" von "Ferienhäuser" müsste groß sein, der HEX-Wert von "ä" ist komischerweise groß, aber dennoch falsch, denn richtig wäre "%C3%A4". Der Trailing-Slash fehlt auch.

Hex: Hier ist er nun groß gewesen, aber falsch kodiert. Teils ist er richtig kodiert, aber "klein" als "%c3%a4", während das "F" von Ferienhäuser aber groß ist ???? Da ist also nicht alles konsistent falsch, sondern eben immer wieder gemischt falsch.

Achja.... Das ist nur bei Bing. Alle anderen Bots, die ich so sehe, machen das richtig!

Hat einer eine Idee?

Oh ja. Also bei Bing kann ich ja einiges sagen, aber nix Gutes. Groß-Kleinschreibung. Dito. Immer klein, dann ein 301, dann entsprechend die Buchstaben groß. UTF8-Encode. Scheint Bing auch nicht wirklich zu kennen oder können oder warum kodiert der ein "%C3%9Cberlingen" zu "%25c3%259cberlingen"? Macht auch nur Bing, bei allen anderen geht es. Und so sonderbar ist das gar nicht, nutzt z.B. Wikipedia überall.

Wirklich ignorieren kann man das aber nicht, denn die ganzen Klone von Bing nutzen das dann auch und die werden teilweise von Google gespidert. Sprich, es fängt auch Google mit dem Mist an. Teilweise habe ich hier Tage, da sind 60% am Tag 301er.

Es gibt aber einen, der noch schlimmer ist -> PetalBot. Den habe ich noch nie dabei erwischt, dass der mal eine URL gleich richtig hatte. Nee, immer erst ohne SSL, dann mit SSL aber ohne www und dann bei dritten Versuch endlich ssl mit www.

Und aktuell ist Bing dabei, jeden Tag tausende an URLs abzurufen, die es schon seit 2008 nicht mehr gibt. Kommt auch immer ein 301 oder nun häufig ein 404. Es nervt einfach nur noch, das ist Logfile-Spam und unnötige Traffik-Nutzung.

Aber wegen dem Trailing-Slash. Sieht man ja sehr gut in den Bing-Webmaster-Tools. Selbst dort im Siteexplorer sind die alle ohne Trailing-Slash hinterlegt und verlinkt. Ich frage mich echt, was der scheiß soll. Falsch abrufen ist eine Sache, dann aber nach einem 301 das dann auch noch als falsche Version in den im Site-Explorer zu listen ist eine andere.

Aber mittlerweile, zwei Jahre später.... Google ist auch nicht viel besser bzw. hat sich Bing angenähert. Was bei denen alles nicht geht, geht auf keine Kuhhaut. Und immer heißt es nur "ist kein Fehler" oder ein kurzfristiger Bug. Naja, mir scheint mittlerweile, ganz Google ist ein großer Bug.