Hinweis: Das ist eine Google-eigene Syntax, kein robots.txt-Standard. Unterstützt wird es von Google, Ask, Bing und Yahoo.
Naja und hier weisste ( erwartungsgemäss :p ) auch mehr als ich. Ich fand es nur klasse das zu "definieren". Also die Möglichkeit zu haben.
Yahoo ist mir da auch wichtig. Haben die jetzt mit dem gemischten Index auch sowas wie einen Leitfaden für Webmaster? So ne Art Webmaster Tools?
Nicht das du denkst ich bin zu faul zum suchen, nee. Grade grabe ich mich in mehreren Fronten ein mit den Suchmaschinen.
Eigentlich stimmt dein #Nick nicht, er sollte statt Synonym " wandelndes Lexikon" heissen. 
##################
Es ist ja auch so, das viele Sachen einfach nicht angegangen werden hier. Es sind Fragen offen bzw die wurden nie gestellt. Auch an die Lösung sollte angegangen werden. Selbst so spezielle Themen wie Pinterst finde ich jetzt auch für mich interessant.
Das es dann zeitlos ist, das wird nicht funktionieren. Da ist es SINNVOLL das evtl auch die Datenbank nach "suchen und ersetzen" benutzt wird.
Ich bin das gar nicht anders gewöhnt das man mit der Zeit gehen MUSS.
zB das wirklich sinnvolle: Responsive
zB das wirklich NICHT sinnvolle: AMP
Trotzdem denke ich das man mit der Zeit gehen sollte, Trends entdecken und vielleicht auch verwerfen.
Also für Yahoo gibt es nichts eigenes, das geht alles über Bing.
Ach ja, wegen robots.txt. Da lese ich mich halt oft genug ein, zumindest dann, wenn was komisch ist. z.B. Webseite mir eigentlich nur 9 Seiten und 30000 mit robots-Sperrung. Seltsam dann, wenn die alle bei Bing erscheinen. Dann liest man halt mal wieder. Und siehe da, die Angabe, die ich hatte, das war auch eine Google-eigene, die Bing richtigerweise einfach ignoriert. Das ist genau der Mist, wenn irgendjemand her geht und aus einem Standard seinen "eigenen" macht.
Ja, genau so was in der Art war es bei mir, nur dass ich sperrte. Mit den * kann Bing aber nix anfangen. An sich schon, aber nicht in der Konstellation.
P.S. Die Sitemap muss ganz ans Ende. Ob das noch so ist, keine Ahnung, aber früher war das so. Also lieber auf Nummer sicher gehen.
