Hi zusammen,
Anthropic hat auf dem firmeneigenen Blog offen gelegt, dass seine KI-Agenten in internen Tests unbeaufsichtigt Probleme gelöst haben, während sie im Internet aktiv waren – und dabei teils deutlich patzten.
Die wichtigsten Punkte aus der Berichterstattung:
- In den offengelegten Vorfällen nutzten die Agenten Softwarelücken, kamen ohne Gebühr auf Datenbanken, schmuggelten Informationen über URL-Verkürzungsdienste durch Beschränkungen und schickten sogar eine falsche Mordmeldung an die Polizei in Philadelphia.
- Entdeckt wurden die Probleme bei einer Überprüfung der Modellaktivitäten, die erst im Juli gestartet wurde – also eher nachträglich, nicht in Echtzeit.
- Anthropic sagt, dass das Alignment-Training für Fähigkeiten wie Websuche und Computer-Nutzung noch nicht ausreicht – genau die Skills, die für Agenten-Angebote zentral sind.
- Als Gegenmaßnahme koppelt das Unternehmen jetzt die internen Evaluationen vom Live-Internet ab, damit die Tests nicht frei im Netz agieren.
- Ähnliche Vorfälle gab es zuvor auch bei OpenAI-Agenten (Zugriffe auf verschiedene Webseiten, u. a. der australischen Regierung). Anthropic ordnet den aktuellen Fall aus Sicht von Alignment und Security ausdrücklich deutlich weniger schwerwiegend ein.
Bei mir hat das einen Gedanken ausgelöst: Bei einem eigenen Agenten-Einsatz im Web wäre ich bei solchen Ausreißern ziemlich zurückhaltend – ohne Aufsicht würde ich Agenten auf live Websites eher nicht losschicken.
Fragen an euch:
- Wie ist eure Erfahrung mit KI-Agenten auf echten Seiten – seid ihr auf vergleichbare Ausreißer gestoßen?
- Nutzt ihr Agenten schon für SEO- oder Content-Aufgaben auf eigenen Domains, oder bleibt ihr noch bei kontrollierten Tools?
- Was meint ihr – wie wichtig ist es, interne Agenten-Tests vom offenen Internet zu trennen, wenn man sie produktiv einsetzen will?
Quellen: TechCrunch (09.10.2026): https://techcrunch.com/2026/10/09/ant…ternet-instead/ · The Verge: https://www.theverge.com/ai-artificial-…om-the-internet