Google Bard: Webseite von der KI ausschließen

Google hat nun einen neuen, eigenen Crawler für seine KI Bard und Vertex AI. In der englischen Dokumentation ist er bereits aufgeführt und hört auf den Namen "Google-Extended"

Über diesen neuen Useragent / Bot kann man nun in der robots.txt steuern, ob die eigenen Inhalte für Bard zum Anlernen bzw. für die Datennutzung verwendet werden dürfen oder nicht.

Blockierungen einfach mit:

User-agent: Google-Extended
Disallow: /

Wie war falsches Unterforum? Steht doch im "AI Forum"???

Ja, das ist die Frage. Die wird man wohl erst beantworten können, wenn es so weit ist. Es geht ja ums Anlernen der KI. Wenn man das verbietet, dann "unterstützt man Google nicht", die wollen aber unterstützt werden, damit die KI besser wird.

https://blog.google/technology/ai/…isher-controls/

Ich für meinen Fall gehe davon aus, dass das, egal, wie man es macht, für den Webmaster ein Nachteil ist. Lässt man es zu, dann hilft man Google. Ob man davon dann was zurückbekommt, steht auf einem anderen Blatt, aber wohl eher nicht. Selbst wenn die dann Quellen angeben, dann muss man da zwei oder drei mal klicken, bis man da hinkommt. Und wer macht das schon? Steht die Antwort als Text im Ergebnis, ist das fertig. Die Antwort, Ende.

Blockiert man aber, dann sind die Daten, die sie schon haben, schon da. Aber neue dürfen nicht angelernt werden oder eben zukünftige Systeme. Das meinen die ja mit "Vertex AI". Bedeutet dann also, dass man selbst bei einer Antwort wohl nicht erscheint (ob das überhaupt was bringen würde, siehe oben.). Wenn man aber nicht erscheint, dann steht da halt eine andere Antwort. Zack, der Nutzer hat wieder eine Antwort und fertig.

Die werden das schon so schlau machen, dass da nicht eine einzige Quelle als Antwort kommt, sondern eben ein generierter Text, der dann als Quelle mehrere Seiten enthält. Und das sind dann ja keine Zitate der Seite, sondern nur Zusammenfassungen einzelner Sätze oder Wörter, also für einen User, der da vielleicht doch aufschlägt, eher uninteressant. Was soll der mit 2 Seiten Text, wenn Google das vermeintliche richtige Ergebnis in 4 Sätzen schreibt?