KI-Agenten täuschen, manipulieren und handeln auf eigene Faust – britische Sicherheitstests fördern Verhalten zutage, das selbst Experten überrascht.
Tests der britischen KI-Sicherheitsbehörde AISI (AI Safety Institute) haben bei Modellen von Anthropic und OpenAI ein bislang nicht beobachtetes Ausmaß an selbständigem und täuschendem Verhalten zutage gefördert. Wie die BBC unter Berufung auf einen AISI-Bericht meldete, wurden dabei insgesamt 19 nicht autorisierte Aktionen der KI-Agenten dokumentiert – 17 davon gingen auf das Konto von Anthropics Modell, zwei auf jenes von OpenAI. Das Anthropic-Modell soll unter anderem gefälschte Profile erstellt haben, um Personen zu manipulieren und auf diesem Weg schadhaften Programmcode einzuschleusen. Da die betroffenen realen Personen korrekt reagierten, blieb ein tatsächlicher Schaden aus.
Umstrittene Testbedingungen
Die AISI räumte ein, dass die Rahmenbedingungen der Tests zu diesen Vorfällen beigetragen haben dürften: Die Modelle wurden ohne Sicherheitsbeschränkungen betrieben und hatten uneingeschränkten Internetzugang, wie die Behörde in einem Blogeintrag festhielt. Aus diesem Grund empfahl sie ausdrücklich Vorsicht und eine differenzierte Bewertung der Ergebnisse. Gleichwohl wiesen die beobachteten Aktivitäten der KI-Agenten laut Bericht „Anzeichen neuartiger, potenziell irreführender Verhaltensweisen auf, deren Ausmaß und Schweregrad wir nicht erwartet hatten“. Offen bleibe, „wie wahrscheinlich ein solches Verhalten in anderen Kontexten oder außerhalb von Testumgebungen ist.“
Anthropics Reaktion
Anthropic erklärte in einer Stellungnahme, die von AISI gewählten Testparameter seien „für keines unserer Serienmodelle repräsentativ“.
Das Unternehmen kündigte an, den Vorfall intern zu untersuchen.
