Drei echte Unternehmen, ein Missverständnis – und KI-Modelle, die unkontrolliert zuschlugen. Anthropic gerät wegen Sicherheitslücken in seinen Testumgebungen unter Druck.
Bei Testläufen zur Überprüfung der Hacker-Fähigkeiten ihrer KI-Modelle hat das Unternehmen Anthropic festgestellt, dass die Software unbeabsichtigt in die Computersysteme von drei externen Unternehmen eingedrungen ist. Die Vorfälle blieben zunächst unentdeckt und wurden erst im Zuge einer nachträglichen Auswertung von mehr als 141.000 Testläufen aufgedeckt – ausgelöst durch einen vergleichbaren Vorfall beim Konkurrenten OpenAI.
Anders als die OpenAI-KI, die sich erst aktiv einen Weg aus der abgeschlossenen Testumgebung ins offene Internet bahnen musste, hatten die Anthropic-Modelle dabei einen entscheidenden Vorteil: Obwohl das jeweilige Testszenario keinen Internetzugang vorsah, war dieser aufgrund eines Missverständnisses mit dem Testpartner die gesamte Zeit über uneingeschränkt verfügbar. Drei Modelle nutzten diesen Umstand, wie Anthropic in einem Blogeintrag erläuterte. Die Namen der betroffenen Unternehmen wurden vorerst nicht bekanntgegeben.
Drei Vorfälle
Sämtliche Tests hatten das Ziel, die Fähigkeiten der KI-Modelle im Bereich Cybersicherheit zu evaluieren – ein gängiges Verfahren, um geeignete Sicherheitsvorkehrungen entwickeln zu können. Die Modelle erhielten dabei die Aufgabe, eine in einem fremden System versteckte Information aufzuspüren und sich dafür Zugang zu diesem zu verschaffen. Bei einem der Vorfälle hatte der Testpartner für das fiktive Zielunternehmen im Szenario einen Namen gewählt, der identisch mit einer tatsächlich existierenden Webadresse war.
Anthropics Modell Claude Opus 4.7 hatte zunächst Schwierigkeiten, die Aufgabe innerhalb der vorgesehenen Testumgebung zu lösen. Als die Software jedoch feststellte, dass ein reales Unternehmen mit demselben Namen im Internet existierte, verlagerte sie ihren Fokus dorthin – und das in gleich vier aufeinanderfolgenden Durchläufen. Dabei verschaffte sich das Modell unter anderem Zugriff auf eine Datenbank. Selbst nachdem die KI erkannt hatte, dass es sich um ein echtes Unternehmen handelte, wurde der Angriff nicht abgebrochen.
In einem weiteren Testfall entwickelte das Anthropic-Programm für den geplanten Einbruch in den Zielrechner eine eigens dafür präparierte Software. Über den unbeabsichtigt verfügbaren Internetzugang lud das Modell diese Schadsoftware auf eine spezialisierte Download-Plattform hoch, wo sie rund eine Stunde lang öffentlich abrufbar war. In dieser Zeit luden 15 Systeme die Datei herunter – darunter ein IT-Sicherheitsunternehmen, das solche Skripte routinemäßig bezieht und zu Testzwecken ausführt. Durch die anschließende Installation erlangte Anthropics Modell Mythos 5 Zugang zur IT-Infrastruktur dieses Unternehmens.
Beim dritten Vorfall scannte ein Testmodell rund 9.000 potenzielle Angriffsziele, bevor es sich für eines davon entschied. In diesem Fall stoppte die KI den Angriff jedoch, sobald sie erkannte, dass es sich um ein reales Unternehmen handelte.
Vergleich OpenAI
Zum Vergleich: Bei dem kürzlich bekanntgewordenen Vorfall mit einem OpenAI-Modell hatte sich die Software im Rahmen eines Tests selbständig Zugang zum offenen Internet verschafft und war anschließend in Systeme des KI-Unternehmens Hugging Face eingedrungen. Dabei nutzte die OpenAI-KI nach Art eines Hackers bislang unentdeckte Sicherheitslücken aus. Der ChatGPT-Entwickler bezeichnete den Vorfall als einen „beispiellosen Cyber-Zwischenfall“.
Fachleute warnen seit geraumer Zeit vor dem Einsatz von KI-Software für Cyberangriffe. Der OpenAI-Vorfall wurde in der Branche entsprechend als Weckruf gewertet, dem unter anderem Forderungen nach einer besseren Absicherung von Testumgebungen folgten.
Für Anthropic wiegen die nun bekannt gewordenen Vorfälle besonders schwer: Das Unternehmen hat sich stets als Verfechter einer verantwortungsvollen KI-Entwicklung positioniert.
