gibt auch ne robots.txt gegen Terminator. 
*** Link veraltet ***
Warum? Hab ich bei Webseiten die ich nicht in die WMT eintragen will, mit den Sitemaps auch so gemacht. Ist ein Standard, noch nicht so alt aber ein paar Jährchen hats schon auf dem Buckel.
Ich wusste dafür von dem restlichen Zeugs den du hier im Thread gepostet hast nichts. Wer nicht fragt bleibt dumm. Ich mache mich regelmäßig mit irgendwelchen Fragen zur Feile, das ist mir aber egal solange meine Frage beantwortet wird.
Das "allow" in der robots.txt war mir ebenfalls unbekannt und hat mich grad mal zur Recherche veranlasst, hatte sich bei mir doch folgender Satz von selfhtml eingeprägt:
Ein Schlüsselwort Allow: wurde niemals definiert.
*** Link veraltet ***
Des Rätsels Lösung hab ich dann über den Google-Blog gefunden, wo das "allow" merkwürdigerweise aufgeführt ist:
*** Link veraltet ***
Es geschah im Jahr 2008, dass sich Google scheinbar selbstherrlich und ungerufen zum Web-Standard erklärte:
n den letzten Jahren haben wir mit Microsoft und Yahoo! zusammengearbeitet, um Standards wie Sitemaps festzulegen und zusätzliche Tools für Webmaster anzubieten. Seit der ursprünglichen Ankündigung haben wir weitere Verbesserungen basierend auf Feedback der Community eingeführt - und wir werden dies auch in Zukunft tun.
Und weiter:
... werden wir heute eine genauere Dokumentation darüber veröffentlichen, wie wir REP implementieren. Dies soll Webmastern eine übergreifende Implementierung anbieten und es für Publisher deutlicher machen, wie ihre REP-Anweisungen von drei großen Suchmaschinen interpretiert werden ...
Heute, also 6 Jahre später, sind weder "Sitemap" noch "allow" ein Standard. Wurde es ursprünglich nur von Google, Microsoft und Yahoo einfach so beschlossen, haben sich inzwischen wohl gezwungenermaßen auch ask und slurp dem Beschluss untergeordnet. Und das wars auch schon. In Entwicklerkreisen dürfte man beides wohl als deprecated bezeichnen.
Sie beschließen eben gerade keine Standards, sondern hebeln bestehende (vorsätzlich) aus. Für andere SuMas heißt das, ihr könnt bleiben, wo der Pfeffer wächst. Ist nicht unser Problem, wenn ihr die Seiten / robots.txt der Webmaster nicht mehr lesen könnt.
Solch ein Wildwuchs ist eine reine Machtdemonstration. Würde das jeder machen ... Aber es kann halt nicht jeder machen.
