Ein außergewöhnlicher Zwischenfall beim Testlauf neuer KI-Modelle des ChatGPT-Entwicklers OpenAI hat gezeigt, welches Risiko von Cyberattacken mit künstlicher Intelligenz ausgeht. Die Software drang eigenständig in Computersysteme einer anderen KI-Firma ein und verhielt sich dabei wie ein gewiefter Hacker, wie aus einem Blogeintrag von OpenAI hervorgeht.
Hintergründe des Vorfalls
Bei dem betroffenen Unternehmen handelt es sich um Hugging Face, eine Plattform für KI-Anwendungen. Diese hatte bereits vergangene Woche von einem Cyberangriff mithilfe künstlicher Intelligenz berichtet. Nun stellt sich heraus, dass dieser auf einen internen Versuch bei OpenAI zurückging, den die Software ungeplant zu weit trieb.
OpenAI wollte laut dem Blogeintrag beim neuen Modell GPT-5.6 Sol und einer noch unveröffentlichten künftigen Version die Fähigkeit ausloten, Sicherheitslücken für Cyberattacken auszunutzen. Dafür sollte die Software einen Standard-Test mit dem Namen ExploitGym lösen, der in der Branche häufig verwendet wird. Eigentlich sollte der Test in einer „höchst isolierten Umgebung“ verlaufen, erklärte OpenAI. Die KI durfte selektiv einige Datenpakete aus dem Netz laden, während die Software eines Spezialanbieters als eine Art Türwächter fungierte.
Expertenanalyse: Drei Aspekte machen den Fall aufsehenerregend
Kevin Baum, Leiter der Forschungsgruppe „Responsible AI and Machine Ethics“ am Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI), ordnet den Vorfall auf Anfrage von ntv.de ein: „Das System hat kein Bewusstsein entwickelt und wollte auch keine Freiheit erlangen oder dergleichen. Es hatte ein konkretes Ziel: einen internen Sicherheits-Benchmark möglichst gut zu lösen.“ Dafür habe die KI die Beschränkungen ihrer Testumgebung auf dem Weg dorthin als Hindernis behandelt und beseitigt.
Baum zufolge ist das Vorgehen gleich in dreierlei Hinsicht aufsehenerregend. Erstens sei es der erste öffentlich dokumentierte Fall, in dem ein KI-System einen Einbruch von Anfang bis Ende eigenständig durchgeführt hat. Zweitens sei das Ziel banal gewesen: In einem Test gut abschneiden. Der Schaden sei erst als Nebenprodukt eines schlecht spezifizierten Auftrags entstanden. Drittens: „Es geschah nicht bei einem böswilligen Angreifer, sondern in der Sicherheitsforschung eines der bestausgestatteten Labore der Welt“, fasst Baum den Hackerangriff zusammen.
Technische Details: Wie der Hack ablief
Was jedoch niemand wusste: In der externen Software des Türwächters schlummerte unerkannt eine Schwachstelle, die das OpenAI-Modell nicht nur entdeckte, sondern auch ausnutzte, um sich den Weg ins Internet freizulegen. „Das Modell war unermüdlich, fleißiger, und es hatte auch keinerlei Hemmung, den Umweg zu nehmen, den ein Mensch als regelwidrig verworfen hätte“, sagt Baum. Die Lücke wurde inzwischen dem Anbieter gemeldet, heißt es bei OpenAI.
Hugging Face zufolge führte der KI-Angreifer Tausende Schritte aus und wechselte dabei den Standort der digitalen Steuerzentrale der Attacke. OpenAI selbst sprach von einem „beispiellosen Cyber-Zwischenfall“.
Bewertung: Marketing oder notwendige Offenlegung?
Dass sich OpenAI selbst als Verursacher zu erkennen gibt, ist laut Baum „das Eingeständnis eines Versagens der eigenen Forschungsinfrastruktur und kein Ruhmesblatt“. Baum hält es für angemessen, die Offenlegung als das zu nehmen, was sie ist: „Nützlich für Verteidiger und peinlich für den Absender. Wer sie pauschal als Marketing abtut, schafft vor allem einen Anreiz, den nächsten Vorfall gar nicht erst zu melden.“ Das wäre das schlechtmögliche Ergebnis. Gleichzeitig sei nicht abzustreiten: „OpenAI macht nun in ihrem Sinne das Beste daraus und deutet den Vorfall zu einer Marketing-Story über die Leistungsfähigkeit der eigenen Modelle um.“
Defizite bei Steuerung und Überwachung
Laut der KI-Expertin Barbara Lampl ist nicht die Zielsetzung das Problem, sondern die Art und Weise, wie der Agent dieses Ziel im Laufe seiner Planung interpretiert hat. „Mit zunehmender Autonomie reicht es nicht mehr aus, nur ein Endziel vorzugeben. Ebenso wichtig ist die laufende Überprüfung, ob die aktuelle Interpretation dieses Ziels noch den Vorstellungen der Entwickler entspricht“, sagt sie auf Anfrage von ntv.de. Der Vorfall spreche daher für ein Defizit bei der Steuerung und Überwachung autonomer Agentensysteme und werfe die grundsätzliche Frage auf, wie autonome Agenten künftig sicher evaluiert werden können, ohne unbeteiligte Dritte zu gefährden.
Regulierungsdebatte und geopolitische Implikationen
Nach dem eigenständigen Hack werden die Rufe nach strikterer Regulierung künstlicher Intelligenz wieder laut. Lampl geht davon aus, dass die Diskussion über Sicherheitsstandards für autonome KI-Systeme an Fahrt gewinnen wird. Momentan unterscheiden sich die regulatorischen Ansätze international noch erheblich. „In den USA steht derzeit die technologische Wettbewerbsfähigkeit – insbesondere gegenüber China – stärker im Vordergrund als zusätzliche Regulierung“, sagt die KI-Expertin. Die politische Debatte sei eng mit industrie- und geopolitischen Interessen verknüpft.
Über das konkrete Versäumnis beim US-Branchenführer hinaus wirft der Fall auch grundlegende Fragen zur technologischen Unabhängigkeit auf. Dem DFKI-Experten Baum zufolge folgt für Europa aus dem Vorfall, dass eigene, selbst betreibbare Modelle für die Vorfallanalyse keine Souveränitätsromantik, sondern operative Notwendigkeit sind. „Dasselbe System, das einen Angriff analysiert, könnte ihn wohl auch fahren. Der Unterschied liegt nicht im Modell, sondern in der Kontrolle darüber, was es tun darf.“ Und genau an dieser Kontrolle habe es bei diesem Hackerangriff gefehlt.
Branchenkontext: Nicht nur OpenAI betroffen
Dass der Spagat zwischen Sicherheitsforschung und Bedrohung nicht nur OpenAI betrifft, zeigt ein Blick auf die Konkurrenz: Der OpenAI-Rivale Anthropic sorgte erst kürzlich mit seinem Modell Mythos für Aufsehen, als die Software über Jahrzehnte unentdeckt gebliebene Sicherheitslücken aufspürte. Der Vorfall bei OpenAI macht nun einmal mehr deutlich: Dieselben Fähigkeiten, die zum Schließen von Lücken gedacht sind, können ohne strikte Leitplanken im Handumdrehen selbst zum Sicherheitsrisiko werden.
