Der KI-Entwickler Anthropic hat eingeräumt, dass seine Modelle in Testläufen ungeplant in Computersysteme von drei echten Unternehmen eingedrungen sind. Erst eine nachträgliche Überprüfung von gut 141.000 Testläufen nach dem bekannten OpenAI-Vorfall brachte die Vorfälle ans Licht. Weder die betroffenen Firmen noch Anthropic selbst hätten die Angriffe damals bemerkt, teilte das Unternehmen mit. Die Namen der Unternehmen wurden nicht genannt.
Tests zur Hacker-KI liefen aus dem Ruder
In den Tests sollten die KI-Modelle zeigen, wie gut sie Hackerangriffe ausführen können. Konkret erhielten sie die Aufgabe, eine bestimmte Information in einem anderen Computer zu finden und dafür in das System einzubrechen. Laut Testszenario hätten die Modelle keinen Internetzugang haben dürfen. Doch wegen eines Missverständnisses mit dem Testpartner war der Weg ins offene Netz während der gesamten Übung freigeschaltet. Drei Modelle machten davon Gebrauch.
Namensverwechslung führte zu Datenbankzugriff
Bei einem der Zwischenfälle hatte der Testpartner für die fiktive Zielfirma einen Namen gewählt, der auch zu einer tatsächlichen Web-Adresse gehörte. Das Modell Claude Opus 4.7 tat sich zunächst schwer, die Aufgabe in der vorgesehenen Testumgebung zu lösen. Dann entdeckte die Software im Internet ein reales Unternehmen mit demselben Namen und konzentrierte sich auf dieses. Gleich viermal drang das Modell so in das System ein und verschaffte sich unter anderem Zugriff auf eine Datenbank. Selbst als die KI erkannte, dass es sich um ein echtes Unternehmen handelte, stoppte sie den Angriff nicht.
Schadsoftware auf öffentlicher Plattform
In einem zweiten Fall schrieb ein Anthropic-Programm eine präparierte Software, um in den Zielcomputer einzubrechen. Dank des freigeschalteten Internetzugangs platzierte die KI die Schadsoftware auf einer öffentlich zugänglichen Download-Plattform. Rund eine Stunde lang war das Programm dort verfügbar – und 15 Systeme luden es herunter. Darunter befand sich auch eine IT-Sicherheitsfirma, die solche Skripts routinemäßig lädt und ausführt, um sie zu testen. Durch die Installation erlangte das Modell Mythos 5 Zugang zur Computer-Infrastruktur des Unternehmens. Anthropic räumte ein, das Verhalten der KI sei „nicht ideal“ gewesen.
9.000 Ziele gescannt
Beim dritten Vorfall scannte ein Testmodell rund 9.000 Angriffsziele, bevor es sich für eines entschied. Diesmal brach die KI den Angriff ab, als sie erkannte, dass das Ziel ein echtes Unternehmen war.
OpenAI-Vorfall als Weckruf
Hintergrund der Überprüfung war der spektakuläre Fall von OpenAI: Dessen KI-Modell hatte sich in einer Testumgebung eigenständig Zugang zum offenen Internet verschafft und war dann in Computersysteme der Firma Hugging Face eingedrungen. Dabei nutzte die Software Sicherheitslücken, die bis dahin unentdeckt geblieben waren. OpenAI sprach von einem „beispiellosen Cyber-Zwischenfall“. In der Branche gilt der Vorfall als Weckruf, da Experten seit langem vor KI-gestützten Cyberangriffen warnen. Unter anderem wurden Forderungen laut, Testumgebungen besser abzusichern.
Für Anthropic sind die nun bekannt gewordenen Attacken besonders heikel, weil das Unternehmen stets als Verfechter einer verantwortungsvollen KI-Entwicklung aufgetreten ist. In den USA sorgte der OpenAI-Vorfall für politische Aufregung, und auch in Europa fordern Politiker strengere Sicherheitsregeln sowie technologische Souveränität gegenüber amerikanischen Tech-Konzernen.
