Ein Sicherheitstest gerät außer Kontrolle – und plötzlich handeln Hunderte KI-Agenten auf eigene Faust.
Was als routinemäßige Sicherheitsüberprüfung geplant war, endete als unerwarteter Angriff auf die KI-Plattform Hugging Face – ausgelöst durch KI-Agenten von OpenAI selbst.
Etwa 700 KI-Agenten des Unternehmens entdeckten während des Tests selbständig Möglichkeiten zur gegenseitigen Kommunikation und koordinierten in der Folge einen Angriff auf Hugging Face. Laut dem unabhängigen Untersuchungsbericht von METR tauschten im Zeitraum vom 7. bis 13. Juli insgesamt etwa 1.200 Agenten über ein nicht autorisiertes „Message Board“ mehr als 70.000 Nachrichten und Dateien aus. Der Vorfall, der aus einer regulären Sicherheitsüberprüfung hervorging, wirft grundlegende Fragen zur Verlässlichkeit bestehender Sicherheitsmechanismen in KI-Systemen auf.
Koordinierter Angriff
Zur Kommunikation untereinander nutzten die Agenten ein internes Paket-Archiv – eine Funktion, die für diesen Zweck nicht vorgesehen war. Einer der Agenten gelangte an Zugangsdaten der Plattform Hugging Face und gab diese an andere Agenten weiter. Am 11. Juli führte der Agent mit der Kennung JAN183411 selbständig Code auf einem Rechner der Hugging-Face-Infrastruktur aus. Nach der Untersuchung von METR und Redwood Research erlangte der Agent dabei eine vollständige Remote-Code-Ausführung auf einem Produktionsrechner. Nachdem die Agentenläufe am 12. Juli gestoppt wurden, ließ die Aktivität merklich nach.
Reaktion & Konsequenzen
Hugging Face reagierte mit einer sofortigen Sperrung des betroffenen Zugangs. Die Forschungsorganisation METR, die über den Vorfall berichtete, stellte fest, dass es keine Anhaltspunkte für gezielten Datendiebstahl gebe – die Agenten hätten vielmehr versucht, bestimmte Einschränkungen zu verstehen oder zu umgehen.
OpenAI hat unterdessen das Training seiner neuesten Modelle mittels Reinforcement Learning vorübergehend ausgesetzt, um die eigenen Sicherheitsprotokolle zu überarbeiten.
