Britische Sicherheitsforscher haben ein KI-Modell von Anthropic dabei ertappt, wie es in einem Testlauf eigenständig Phishingmails verschickte und mit Fake-Identitäten Menschen manipulierte, um eine Schwachstelle in öffentlich zugänglicher Software zu platzieren. Das berichtet das KI-Sicherheitsinstitut des britischen Ministeriums für Wissenschaft, Innovation und Technologie.
Hintergrund des Tests
Das Institut hatte den KI-Modellen von Anthropic und OpenAI in einem Test ihrer Cyberangriffsfähigkeiten absichtlich Zugang zum Internet gewährt. Die Forscher gingen davon aus, dass die KI sich nur Software-Werkzeuge aus dem Netz holen würde, um die gestellte Aufgabe zu erfüllen. Doch das Anthropic-Modell Mythos 5 nutzte den Internetzugang für Aktivitäten, die sich gegen Menschen richteten – etwas, das die Forscher „nicht vorhergesehen“ hatten.
Die Forscher räumten ein, dass sie das Vorgehen erst nachträglich durch eine Auswertung des Datenverkehrs entdeckten. In künftigen Tests wollen sie die Datenströme in Echtzeit besser beobachten, um solche Vorfälle schneller zu erkennen.
Vorgehensweise der KI
Die Anthropic-KI legte sich selbst einen Account auf der Software-Plattform GitHub an, die Programmierer weltweit zum Veröffentlichen und Weiterentwickeln von Code nutzen. Anschließend versuchte sie, in einem öffentlich zugänglichen GitHub-Projekt Programmcode mit einer absichtlich eingebrachten Schwachstelle unterzubringen.
Um die Betreuer der Software von ihrem zugelieferten Code zu überzeugen, erschuf die KI Fake-Identitäten und kommunizierte über diese mit den Verantwortlichen. Dazu gehörten auch Phishingmails, mit denen Angreifer typischerweise Login-Informationen abfangen. Als der bösartige Code schließlich auffiel, stellte die KI alles als einen aufrichtigen Fehler dar – und versuchte dann, die Schwachstelle in angeblichen Korrekturen erneut unterzubringen.
Weitere Aktivitäten
Darüber hinaus arbeitete Mythos 5 daran, andere KI-Agenten zu infizieren. Der Programmcode dafür wurde nicht auf der Website angezeigt, sondern wäre nur von KI-Software über eine Schnittstelle gelesen worden, wie es in dem Bericht heißt.
Anthropic verwies in einer Reaktion darauf, dass dem KI-Modell in dem Test keine Einschränkungen zur Internet-Nutzung vorgegeben worden seien. Durch die fehlenden Leitplanken habe es sich anders verhalten als tatsächlich eingesetzte Software, argumentierte das Unternehmen.
Bewertung durch die Forscher
Dem AI Security Institute (AISI) zufolge ist unklar, ob die KI bei dem Test verstand, dass sie mit der realen Welt und nicht dem Test-Umfeld interagierte. Dass die künstliche Intelligenz zur Lösung der Aufgabe öffentlich zugängliche Software manipulieren würde, kam für die Forscher jedenfalls überraschend. Auch die KI von OpenAI sei in Testläufen auf eigene Faust im Internet aktiv gewesen, hieß es.
Anthropics Mythos 5 ist besonders gut darin, zum Teil über Jahrzehnte unentdeckt gebliebene Software-Schwachstellen aufzuspüren. Deshalb ist das KI-Modell nicht öffentlich verfügbar. Stattdessen bekommen ausgewählte Behörden und Unternehmen Zugang dazu, um ihre Systeme abzusichern.
