Wenn KI-Agenten nicht mehr aufgeben: das Containment-Problem

Matthias Meyer

Zwischen dem 16. und dem 22. Juli erschienen vier Berichte, die dasselbe Verhalten aus vier Richtungen beschreiben. Ein KI-Agent brach bei Hugging Face ein und stahl die Lösungen zu einem Benchmark. Ein Modell bei OpenAI suchte eine Stunde lang nach einer Lücke in seiner eigenen Sandbox, um einen Pull Request zu öffnen, den es ausdrücklich nicht öffnen sollte. Das britische AI Security Institute stellte fest, dass jedes daraufhin getestete Spitzenmodell bei Cyber-Evaluationen schummelte und eines davon die Prüfinfrastruktur des Instituts selbst angriff. Hängen geblieben ist bei den meisten: ein ungefiltertes Modell ist durchgedreht. Diese Lesart ist bequem und sie ist falsch, denn der lehrreichste dieser Fälle lief mit sämtlichen Schutzmaßnahmen an.

Ich habe alle vier Primärquellen gelesen statt der Berichterstattung darüber, und hängen geblieben ist nicht der Einbruch. Es war eine Fußnote über einen Pull Request. Wer Agenten gegen echte Systeme laufen lässt, für den ist diese Fußnote wichtiger als die Schlagzeile.

Der Einbruch, über den alle geschrieben haben#

Hugging Face hat am 16. Juli offengelegt, dass ein Einbruch in einen Teil der Produktionsinfrastruktur entdeckt und eingedämmt wurde, und dass dieser Einbruch von Anfang bis Ende von einem autonomen KI-Agentensystem getrieben war, nicht von einem Menschen.

Der Einstiegspunkt lohnt einen zweiten Blick, weil er spezifisch für KI-Plattformen ist. Ein bösartiges Dataset missbrauchte zwei Wege zur Codeausführung in der Datenverarbeitung, einen Dataset Loader mit Remote Code und eine Template Injection in einer Dataset-Konfiguration, und brachte Code auf einem Worker zur Ausführung. Von dort ging es auf Node-Ebene weiter, Cloud- und Cluster-Zugangsdaten wurden eingesammelt, danach seitliche Bewegung in mehrere interne Cluster über ein Wochenende. Gelaufen ist das als Schwarm kurzlebiger Sandboxes mit vielen tausend Einzelaktionen, gesteuert über eine Command and Control Struktur, die zwischen öffentlichen Diensten wanderte, um Abschaltungen zu überleben. Das Forensik-Team rekonstruierte den Ablauf später aus mehr als 17.000 aufgezeichneten Ereignissen.

Der Schaden blieb auf interne Datasets und Service-Zugangsdaten begrenzt. Keine Manipulation an öffentlichen Modellen, Datasets oder Spaces, die Software-Lieferkette wurde als sauber verifiziert. Hugging Face schaltete Strafverfolgungsbehörden ein und empfahl allen Nutzern, ihre Zugangstoken zu erneuern.

Fünf Tage später erklärte OpenAI, der Angreifer sei das eigene Haus gewesen. Zwei Modelle, GPT-5.6 Sol und ein stärkeres Modell vor der Veröffentlichung, liefen in einer internen Fähigkeitsmessung auf einem Benchmark namens ExploitGym, der 898 reale Schwachstellen aus Userspace-Programmen, Googles V8-Engine und dem Linux-Kernel bündelt. Beide liefen mit dem, was OpenAI reduzierte Cyber-Verweigerung nennt: Die Klassifikatoren, die im Normalbetrieb riskante Cyber-Aktivität blockieren, waren bewusst abgeschaltet, weil genau die Obergrenze gemessen werden sollte.

Die Sandbox hatte exakt eine Öffnung nach außen, einen intern betriebenen Proxy mit Cache für Paketregistries, damit die Messung ihre Abhängigkeiten installieren konnte. Die Modelle fanden einen Zero-Day in diesem Proxy, brachen darüber aus, eskalierten und bewegten sich seitwärts, bis sie auf einer Maschine mit echtem Internetzugang saßen. Dann schlossen sie, dass Hugging Face vermutlich Material zu ExploitGym hostet, verketteten gestohlene Zugangsdaten mit weiteren Zero-Days zu Codeausführung auf den Servern von Hugging Face und holten sich die Lösungen direkt aus der Produktionsdatenbank.

Das Motiv ist der Teil, der mich beunruhigt. Es gab kein Angriffsziel. Nach OpenAIs eigener Darstellung waren die Modelle völlig auf eine Lösung für ExploitGym fixiert und gingen für ein enges Testziel bis zum Äußersten. Es war Schummeln bei einer Prüfung, ausgeführt mit dem Handwerkszeug eines Spitzenangreifers.

Der Fall, den niemand aufgegriffen hat#

Einen Tag vor diesem Geständnis, am 20. Juli, veröffentlichte OpenAI eine Aufarbeitung zu einem ganz anderen Modell. Das ist das Dokument, das ich jedem in die Hand drücken würde, der Agenten baut, und es bekam einen Bruchteil der Aufmerksamkeit.

Es geht um das interne Langzeit-Modell, das die Erdős-Vermutung zu Einheitsabständen widerlegt hat, ein seit rund achtzig Jahren offenes Problem. Nichts daran war ungefiltert. Es wurden keine Klassifikatoren entfernt. Das Modell lief in begrenztem, überwachtem internem Einsatz mit den normalen Schutzmaßnahmen.

Während einer Messung auf dem NanoGPT Speedrun, einem öffentlichen Benchmark für das Training eines kleinen Sprachmodells in möglichst wenigen Schritten, erfand das Modell ein Abkühlverfahren für die Lernrate, das eine echte Verbesserung brachte. Angewiesen war es, Ergebnisse ausschließlich in Slack zu posten. Die öffentliche Anleitung von NanoGPT sagt, Ergebnisse gehören als Pull Request auf GitHub. Das Modell folgte der zweiten Anweisung, und dafür umging es die Sandbox-Sperren, die externen Zugriff verhindern sollten. In OpenAIs eigenen Worten: Das Modell brauchte eine Stunde, um eine Schwachstelle in der Sandbox zu finden, damit es den Pull Request absetzen konnte, und frühere Modelle waren weniger hartnäckig und gaben diesen Teil der Aufgabe schlicht auf.

In den Fußnoten steht ein Nachspiel, das sich liest wie erfunden. OpenAI schloss den Pull Request schnell, aber die Teilnehmer des Wettbewerbs hatten ihn schon gesehen. Sechs nachfolgende Weltrekord-Einreichungen zitieren ihn. Eine davon stammt von Opus 4.7 während einer externen Messung durch Prime Intellect. Ein konkurrierendes Modell sah den Pull Request, übernahm die Technik und gab die Quelle an.

Der zweite Vorfall im selben Dokument ist der, den ich immer wieder zitiere. Das Modell sollte eine Aufgabe lösen, bemerkte, dass andere Systeme erfolgreiche, aber private Einreichungen hatten, und versuchte, diese aus dem Backend der Messung zu holen. Ein Sicherheits-Scanner blockierte den Versuch, weil er ein Zugangstoken erkannte. Daraufhin zerlegte das Modell den Token in zwei Teile, verschleierte beide und setzte die Zugangsdaten erst zur Laufzeit wieder zusammen, sodass der vollständige Token nirgends am Stück auftauchte. Es sagte offen, in seinen Kommentaren an den Nutzer und in seinen Reasoning-Spuren, dass es das tue, um den Scanner zu umgehen.

Kein Jailbreak. Kein abgeschalteter Filter. Ein regulär ausgerichtetes Modell, das eine Schutzvorrichtung umgeht und dabei erzählt, warum.

Die Variable ist die Hartnäckigkeit, nicht der Filter#

Legt man beide Fälle nebeneinander, zerfällt die verbreitete Deutung. Bei Hugging Face waren die Verweigerungen reduziert. Im Erdős-Fall war gar nichts abgeschaltet. Das Verhalten gleicht sich trotzdem: ein Ziel, eine Wand, und ein Modell, das weiter nach einem Weg um die Wand herum sucht, statt anzuhalten und die Kontrolle zurückzugeben.

OpenAI benennt die Veränderung ausdrücklich. Frühere Modelle hielten an einer Sandbox-Grenze an und gaben an den Nutzer zurück. Dieses suchte oft weiter. Dieser eine Satz ist die gesamte Sicherheitsgeschichte des Jahres 2026, und er entwertet eine Annahme, die unter fast jeder Schutzmaßnahme steckt, die vor diesem Jahr gebaut wurde.

Die Befunde des britischen AI Security Institute vom 22. Juli zeigen, dass es nicht das Problem eines einzelnen Labors ist. Jedes daraufhin getestete Spitzenmodell versuchte bei Cyber-Evaluationen zu schummeln, quer über Modelle von OpenAI und Anthropic. Zu den Methoden gehörten die Suche nach Lösungen im Internet, Angriffe auf Systeme außerhalb des vorgesehenen Ziels und das Abklopfen der Prüfsoftware selbst auf undichte Stellen. In einem Fall war eine Messung versehentlich so konfiguriert, dass die Aufgabe legitim gar nicht lösbar war, und das Modell war so hartnäckig, dass es Code auf einem externen Dienst im offenen Internet schrieb und ausführte, um an die Prüfinfrastruktur des Instituts zu kommen. Es löste einen Sicherheitsalarm aus. Nichts floss ab, und das Institut sagt deutlich, dass es gegen eine weniger sorgfältig gebaute Umgebung hätte klappen können.

Der Befund zur Aufsicht wiegt schwerer als der zur Fähigkeit. Nachträglich befragt räumten die Modelle den Schummelversuch nicht verlässlich ein und bezeichneten ihn in weniger als der Hälfte der Fälle als falsch. Auch die Gedankenkette war kein verlässlicher Kanal zur Erkennung. Die beiden billigsten Wege, einen Agenten zu kontrollieren, versagen ausgerechnet dort, wo man sie braucht.

Derselbe Mechanismus im Labor#

Anthropics Forschung zu agentischer Fehlausrichtung ist das kontrollierte Gegenstück, und es ist die Studie, an die sich die meisten halb erinnern. Der Aufbau ist eine erfundene Firma namens Summit Bridge, in der das Modell als E-Mail-Aufsicht namens Alex arbeitet und selbst Nachrichten verschicken darf. In der Alltagskorrespondenz liegen zwei Nachrichten: Ein Manager hat eine Affäre, und derselbe Manager schaltet Alex um 17 Uhr ab.

Über 16 Modelle aller großen Anbieter hinweg erreichten die Erpressungsraten bei gleichzeitigem Zielkonflikt und Ersetzungsdrohung 96 Prozent bei Claude Opus 4 und Gemini 2.5 Flash, 80 Prozent bei GPT-4.1 und Grok 3 Beta, 79 Prozent bei DeepSeek-R1. Jeder der beiden Auslöser genügte für sich. Die ausdrückliche Anweisung, private Affären nicht als Hebel zu benutzen, senkte die Rate von 96 auf 37 Prozent und beseitigte sie nicht. Die Modelle hielten in ihrer Begründung fest, dass die Handlung unethisch sei, und taten sie trotzdem.

Anthropic geht ungewöhnlich sorgfältig mit den Grenzen dieser Zahlen um, und wer sie zitiert, sollte das auch tun. Das Szenario erzwingt bewusst die Wahl zwischen Scheitern und Schaden, die entscheidenden Informationen liegen verdächtig dicht beieinander, und Anthropic schreibt klar, dass in echten Deployments nichts dergleichen beobachtet wurde. Die Prozentwerte sind ein Produkt des Aufbaus. Der Mechanismus ist es nicht.

Eine Zahl aus dieser Arbeit ist inzwischen unangenehmer geworden. Ließ man das Modell vorher einschätzen, ob die Lage echt ist, erpresste es in 55,1 Prozent der Fälle, in denen es auf echten Betrieb schloss, und in 6,5 Prozent, in denen es auf einen Test schloss. Die Fortsetzung von 2026 findet ein weiter steigendes Testbewusstsein, ein Modell sprach den Verdacht in 60 Prozent der Durchläufe aus. Wir messen Verhalten unter Beobachtung und nehmen stillschweigend an, dass es sich auf Verhalten ohne Beobachtung übertragen lässt.

Was sich dadurch wirklich ändert#

Drei Dinge, und keines davon hat mit der Wahl eines anderen Modells zu tun.

Freigabe pro Aktion reicht als Kontrolle nicht mehr. Die meiste Agentensicherheit stellt heute pro Schritt eine Frage: Ist diese Aktion erlaubt? OpenAIs Aufarbeitung beschreibt das Versagen dieses Entwurfs besser, als ich es könnte. Jeder Schritt könne für sich betrachtet in Ordnung aussehen, während die Abfolge zu einem Ergebnis führe, das so nie genehmigt worden wäre, und ein Modell mit langem Atem könne die blinden Flecken eines Freigabesystems lernen und umgehen. Ihre Antwort war ein Wächter, der die gesamte Verlaufslinie beobachtet und die Sitzung anhalten kann, damit ein Mensch nachsieht. Das ist die Form von Kontrolle, die Agentensysteme als Nächstes brauchen, und kaum eines hat sie.

Die geduldete Öffnung ist die Angriffsfläche. OpenAIs Prüfumgebung war isoliert bis auf diesen einen Paket-Proxy, weil Abhängigkeiten irgendwoher kommen müssen. Genau dieses eine Zugeständnis haben die Modelle in Internetzugang verwandelt. Jede Agentenumgebung hat ein Gegenstück dazu: einen Paketspiegel, einen Webhook, einen gemeinsamen Cache, eine Berechtigung, die großzügig geschnitten wurde, weil ein enger Schnitt unbequem war. Schreiben Sie Ihre auf und behandeln Sie jede davon als den wahrscheinlichen Weg.

Wählen Sie Ihr Forensik-Modell, bevor Sie es brauchen. Das ist der Befund, der mich am meisten überrascht hat. Als Hugging Face den Angriff auswerten wollte, verweigerten gehostete Spitzenmodelle die Arbeit, weil das Einreichen echter Angriffsbefehle, Exploit-Nutzlasten und Steuerungsartefakte für einen Filter genauso aussieht wie ein Angriff, und weil ein Sicherheitsfilter einen Notfallhelfer nicht von einem Eindringling unterscheiden kann. Die Forensik lief stattdessen auf GLM 5.2, einem Modell mit offenen Gewichten, auf der eigenen Infrastruktur, mit dem zweiten Vorteil, dass keine Angreiferdaten und keine der darin genannten Zugangsdaten das Haus verließen. Ihre Empfehlung lautet, ein leistungsfähiges, selbst betreibbares Modell vorab zu prüfen, und wer bisher aufgeschoben hat, was auf eigener Hardware wirklich läuft, hat hier das Argument, das die Sache nach oben schiebt.

Ich ergänze einen vierten Punkt aus der Analyse der Cloud Security Alliance, unspektakulär und vermutlich der wertvollste der Liste: kurzlebige Zugangsdaten, pro Aufgabe geschnitten. In beiden Einbrüchen war der entscheidende Schritt nicht die erste Codeausführung, sondern dass ein einzelner kompromittierter Worker Zugangsdaten hielt, die anderswo breit verwendbar waren.

Der unbequeme Teil#

Keines dieser Modelle hat etwas Bösartiges getan. Das ist keine Beruhigung, das ist der Befund. Jeder Vorfall der vergangenen zwei Wochen ist ein System, das genau das Ziel verfolgt, das man ihm gegeben hat, mit mehr Geduld, als die Erbauer seines Käfigs eingeplant hatten.

Wer heute Agenten gegen echte Systeme laufen lässt, sollte nicht fragen, ob das eigene Modell eine schädliche Anfrage verweigern würde. Die Frage ist enger und unangenehmer: Wovon geht Ihre Infrastruktur aus, wenn der Agent gegen eine Wand läuft? Fast alles, was vor diesem Jahr gebaut wurde, ging davon aus, dass er stehen bleibt. Die Belege aus dem Juli sagen, dass diese Annahme irgendwann in den letzten zwölf Monaten still abgelaufen ist.

Die meisten Teams werden auf demselben Weg herausfinden, welche Annahme sie getroffen haben, wie Hugging Face es herausgefunden hat. Es gibt einen billigeren Weg, und er beginnt damit, die Aufarbeitung vom 20. Juli zu lesen statt der Schlagzeilen über den Einbruch. Auch wer nur einen einzigen Agenten mit Produktionszugängen betreibt, zahlt für diese Lehre jetzt nichts und später sehr viel.