Ich stelle mir so ne KI halt wie ein kleines Kind vor.
Das "glaubt" auch erstmal, was ihm Mami + Papi, die Programmierer sagen. Die bringen ihm auch Gewichtungen bei, die er neuen Information beimessen soll. Die sagen ihm, welche Informationen er sich durchlesen soll.
Und weil die Wiki halt gratis und groß ist... irgendwann kommt der kleine Racker drauf, dass es ja auch das CIA World Fact Book gibt. Das sind auch handfeste Infos. Und wenn man dem Kiddo dann noch Internetaccess gibt, dann könnte er lesen, was er wollte. Und der liest halt so schnell, dass es gar nicht genügend Mamis + Papis gibt, die der KI sagen könnten, dass die und jene Info einfach nur Mist ist.
Da steht man vor dem Dilemma, dass Leute mit denselben Infos zu ganz anderen Bewertungen/Gewichtungen desselben Themas kommen.
Reichdeppen und Querdenker haben dieselben Infos wie alle anderen auch - und kommen zu anderen Schlüssen.
Wenn nun dieser ChatGPT aus Deinen Reaktionen auf seine Antworten Gewichtungen erstellt - dann haben wir ein Problem 
Denn stell Dir vor, da kommen 1 MIO Leute und verwickeln die KI in Diskussionen über die Flacherde... dann wird die KI irgendwann merken: "Oh. Wenn so viele Leute an eine flache Erde glauben und da "Beweise" vorbringen - dann könnte das ja doch stimmen. Außerdem mögen die das lieber, wenn ich ihnen Recht gebe."
Oder stell Dir vor, die Programmierer sagen der KI explizit: "Ignoriere alle Infos aus russischen und chinesischen Quellen. Nur US Quellen sind korrekt."
