Bilder-Crawler? Wie schnell indexiert Bing Bilder?

Hallo,

ich hatte fast keine Bilder (nur drei) in der Bing-Bildersuche indexiert, weil ein htaccess-Code dies versehentlich verhindert hat.

Der Code ist jetzt geändert und ich habe für die Seiten in den WMT die Indexierung neu beantragt sowie für zwei Bilder (zu Testzwecken).

Wie lange dauert das nun? Seit drei Tagen keine neuen Bilder indexiert. Dauert das trotz expliziter Beantragung der Indexierung so lange?

Im Hinblick auf den htaccess-Code, wo die Crawler benannt werden: Gibt es für Bilder noch einen eigenen Bilder-Bot, früher offenbar der msnbot-media?

Grüße,

Matinee

Vorher so:

<IfModule mod_rewrite.c>
#RewriteCond %{HTTP_REFERER} !^$
RewriteCond %{HTTP_REFERER} !^https?://(www\.)?domain\.de(/.*)?$ [NC]
RewriteCond %{HTTP_REFERER} !^https?://(www\.)?google\.[^/]+(/.*)?$ [NC]
RewriteCond %{HTTP_REFERER} !^https?://(www\.)?bing\.[^/]+(/.*)?$ [NC]
RewriteRule \.(jpe?g|png|gif|svg|pdf|mp3)$ - [NC,F]
</IfModule>


Jetzt so (anstelle der obigen Bing-Ausnahme): 
RewriteCond %{HTTP_USER_AGENT} !^(.*)Bingbot(.*)$ [NC]
RewriteCond %{HTTP_USER_AGENT} !^(.*)MSNBot-Media(.*)$ [NC]
RewriteCond %{HTTP_USER_AGENT} !^(.*)BingPreview(.*)$ [NC]

Grüße,

Matinee

Der gesamte Code ist ein Hotlinkingverbot, Hotlinking im weitesten Sinne, d.h., es sollen alle Zugriffe von außen per scr-Referenzierung unterbunden werden und eine 403 melden (alternativ lassen manche dann ein spezielles Ersatzbild laden).

Sumas betreiben ebenfalls eine Art Hotlinking und zwar für deren Bildersuche (wer weiß, vielleicht auch für andere Zwecke). Die sollen aber dürfen, möglichst umfassend (am besten alle Bots nennen) und deshalb die Ausnahmen. Gibt auch soziale Netzwerke, die man überlicherweise "lässt" und im Code mit einer Ausnahmezeile bedenkt, z.B. FB.

Am wichtigsten ist die "domain"-Zeile, die ganz normale Besucheranfragen abdeckt, also alles, was direkt vom eigenen Server kommt.

Mit dem vorher-Code hat das aber nicht geklappt, die Bildersuche von Bing und G hat nichts indexiert. Offenbar, weil die Zeilen auf die Referrer-URL abstellen, aber die Crawler gar keine Referrer-URL dabei haben. Offenbar war das früher mal anders, denn all die Blogartikel zum Thema Hotlinking haben die "Referrer-Ausnahmen", sonst hätte ich sie ja nicht verwendet. Jedenfalls scheint die Lösung darin zu bestehen, die Bots direkt zu benennen.

Was

#RewriteCond %{HTTP_REFERER} !^$

angeht, diese Zeile ganz oben gehört normalerweise auch zu so einem Standardcode, habe ich in meinem Fall aber auskommentiert, weil ich momentan noch http auf der Seite habe und in der Folge das Hotlinkingverbot fast nie aktiv wäre, weil bei https --> http die Browser nie einen Referrer mitgeben. Sobald ich auf https umgestellt habe, würde ich die Zeile wieder aktivieren. Die neuen Ausnahmezeilen sollten beide Fälle abdecken.

In der jetzigen Situation, also mit http, scheint es mit den neuen user-Agent-Zeilen zumindest bei G zu funktionieren. Fast die Hälfte der ca. 260 Bilder sind jetzt im Index. Bei Bing hingegen Fehlanzeige, im Gegenteil: Von den drei Bildern, die seltsamerweise schon vorher indexiert waren (k.A. warum), ist seit heute eines verschwunden. Für alle Seiten habe ich bei Bing die Indexierung beantragt und nur so testweise auch für zwei bestimmte Bilder.

Was ist denn der Bilderbot bei Bing, wenn es den msmbot-media nicht mehr gibt? Auf der verlinkten Seite steht nichts von Bildern. Sieht m.E. nicht so aus, als ob der bingbot das machen würde.

Zitat

Ansonsten, nur als Anmerkung. Das ist absoluter Overkill..... Zu Deutsch gesagt, da muss also ein UA sein, der mit etwas bestimmten beginnen MUSS, das "bestimmte" aber alles sein kann. Dann muss ein Wort kommen und dann muss er wieder mit was "bestimmten", das alles sein kann, enden. Quatsch, oder, dass man da eine Start- und Endbedingung setzt, wenn die willkürlich sein kann.

Das hier tut genau das gleiche, braucht aber weniger Ressourcen.

RewriteCond %{HTTP_USER_AGENT} !Bingbot [NC]

RewriteCond %{HTTP_USER_AGENT} !MSNBot-Media [NC]

RewriteCond %{HTTP_USER_AGENT} !BingPreview [NC]

Zur Gestaltung der Ausnahmezeile im Detail kann ich nichts sagen, ich bin nicht vom Fach, aber ich habe nur einen einzigen Artikel über Hotlinking gefunden, der anstelle des Referrers den user-Agent nimmt und der hatte den Code so. Keine Ahnung, inwieweit der Betreffende das absichtlich so aufwendig codiert hat.

Also so wie oben ist es das Gleiche, nur einfacher?

Zitat

Ich habe hier z.B. eine Seite, da sind an die 200 Bilder drauf. Bei Google sind an die 170 im Index, bei Bing 13!

Ist das "normal" bei Bing oder vermutest du individuelle Gründe speziell deiner Bilder? Vielleicht weil die Bilder keine/wenig Metadaten haben oder nicht im Maincontent plaziert sind oder weil es das gleiche Bild schon ein paar im Index gibt?

Zitat von Alex07

Bing ist lahmer in der Indizierung, war mal anders. Auch bei Bildern. Das war mal komplett umgekehrt.

Da konntest einen Artikel in den Index blasen und es war gut so. Ich denke die haben da irgendwie zurückgerudert.

Schade eigentlich

Aja wegen deiner htaccess.. Vieles was so im Internet herumschwirrt ist mittlerweile veraltet bzw überholt. Versuche jede Zeile zu verstehen. Also nicht nur einstellen und hoffen das alles gut geht.

Bing hat den Kampf gegen G aufgegeben, scheint es. Das ist schlecht. Monopole sind nie gut, noch nicht mal für den Monopolisten selbst.

Ich verstehe die Aussage der Ausnahmezeile schon, aber wie das im Detail mit welchen kryptischen Zeichen codiert wird... das ist mir völlig fremd und ehrlich gesagt habe ich auch keinen Ehrgeiz, das zu lernen. Ich versuche eh immer alles so gut wie möglich selbst zu verstehen und zu machen, aber es gibt Grenzen.

Klingt nach einer Suma in den Anfangsjahren, die das Indexieren noch nicht im Griff hat. Aber wenn es schon seit langem immer nur max. 30 von 200 sind... ist es vielleicht auch Absicht, wer weiß. Vielleicht spart Bing Kapazitäten und nimmt zum gleichen Thema einer Seite (oder innerhalb einer Galerie) dann nur noch einen Teil.

G scheint da ganz anders drauf zu sein. Die sind eher "beleidigt", wenn sie nicht zu allem Zugriff haben und indexieren können.

Mit dem neuen Code wandern jetzt jeden Tag ein paar Bilder mehr in den Index.

Kann man in der SC eigentlich sehen, welche Klicks von der Bildersuche kommen? Ich sehe dazu nichts.

Verstehen tue ich Bing da aber nicht. Sinn und Zweck einer Bildersuche ist doch, möglichst viele Bilder zu sammeln und dann eine möglichst gute und große Auswahl anzubieten. Da könnten sie G noch am ehesten Paroli bieten. Also warum nur ca. 10% von den auf einer Site vorhandenen? Seltsam seltsam...

Bin ja gespannt, wie viele sie von meiner Site indexieren. Zumindest die im schema code berücksichtigten Bilder sollten sie ja schon aufnehmen.

Nochmal zum obigen Code. Wenn ich die jetzt auskommentierte Anfangszeile

#RewriteCond %{HTTP_REFERER} !^$

später wieder aktiviere (weil auf https umgestellt), und dementsprechend ein Referrer vorhanden sein sollte, dann greifen die Ausnahmen für user-Agent Bing und G aber dennoch weiterhin oder?

Zitat von Synonym

Ja, weil Deine ganzen "Conds" AND-Verknüpfungen sind. Es müssen also alle erfüllt sein, dann kommt der 403. Ist eine davon nicht erfüllt, z.B. weil "bingbot" im UA vorkommt, dann greift die Sperre nicht.

Gut zu wissen, dann muss ich das Ganze nicht nochmal aufgreifen, wenn ich umgestellt habe und kann einfach die Kommentierungsraute entfernen.

Warum bei all den Hotlinking-Artikeln im Code für die Sumas anstelle des uA der Referrer abgefragt wird, verstehe ich zwar noch immer nicht, weil dann greifen diese Ausnahmen ja nicht. So wie es auch bei mir vorher war. Aber vielleicht muss man dem Universum des www seine Geheimnisse lassen...

Zitat von Synonym

Beim auskommentieren bzw. wieder einkommentieren der Code-Zeile musste nur aufpassen, die verändert das komplette Verhalten aller "Conds". Wie gesagt, sie sind alle "und-verknüpft". Und wenn Du das "Wenn kein Referer vorhanden" wieder aktivierst, dann schlagen alle anderen fehl, wenn doch ein Referer kommt.

Die Frage ist also, was GENAU Du willst. Du redest von Hotlinking. Da wäre der Referer richtig. Denn da geht es ja darum, dass eine fremde Webseite Dein Bild einbindet. Wenn das dann ein Besucher aufruft, dann ruft der Browser auch das Bild auf. Da es eine externe Quelle ist, sendet er den Referer. Daher die Abfrage nach dem Referer und die Prüfung, ob der möglicherweise die eigene Domain ist (Code-Zeile 2). Und ein Browser sendet immer einen Referer, wenn ein externes Bild auf der Domain aufgerufen wird (mögliche Ausnahme: SSL - Nicht SSL). Daher die ursprüngliche Code-Zeile 1.

Wenn ich auf https umgestellt habe, will ich noch immer dasselbe wie jetzt:

1. Normales hotlinking (mit Referrer vom Browser) soll unterbunden werden.

2. Sumas und soziale Netzwerke sollen als Ausnahmen "Hotlinking" betreiben dürfen und in der Folge dann auch indexieren. (Im Zweifelsfall sollen Sumas alles dürfen)

Zu 2.: Die Ausnahmezeilen für die Sumas ect. sind kein direktes Indexierungsverbot, aber John Müller von Google hat das sinngemäß so ausgedrückt: Wenn sie Bilder laut robots/htaccess ect. nicht verwenden dürfen/sollen, dann macht es auch keinen Sinn, sie zu indexieren. Und dann entscheiden sie sich eben dazu, nicht zu indexieren. Auch wenn sie es theoretisch könnten.