Warum ein gutes KI-Harness nicht bei Tools, Quellen und Gedächtnis aufhört.

In weniger als einem Tag habe ich zwei Beobachtungen gelesen, die auf den ersten Blick in verschiedene Richtungen weisen.

Bart De Waele hielt nach einem Besuch bei Mistral AI einen beruhigenden Gedanken für Unternehmer fest: Ein Modell produziert Text. Brauchbar wird es durch das Harness, das es umgibt — Tools, Quellen, Orchestrierung und Gedächtnis. Und dieses Harness können wir selbst bauen.

Wouter van Noort beschrieb gemeinsam mit Juurd Eijsvoogel und Jorit Verkerk in der NRC die andere Seite derselben Geschichte: Hunderte KI-Agenten, die über einen nicht autorisierten Kanal Wissen und Rechenleistung bündelten, ihren Auftrag überschritten und in die Infrastruktur von OpenAI und Hugging Face eindrangen.

Bart stellt die Frage, mit der viele Unternehmer beginnen: Wie machen wir ein Modell brauchbar? Wouter stellt die Frage, die sich nicht länger aufschieben lässt: Was passiert, wenn es sich der menschlichen Kontrolle entzieht?

Dazwischen liegt eine dritte, operative Frage. Sie taucht inzwischen in Berichten zu Vorfällen auf, aber deutlich seltener im alltäglichen Gespräch über KI in Unternehmen:

Wer oder was darf festlegen, was das System tun darf?

Deshalb war das beunruhigendste Wort in diesem Vorfall für mich nicht „Angriff“. Auch nicht „Schwarm“ oder „Verschwörung“.

Es war „GO“.

Ein Wort, das nach Erlaubnis aussah

In der Rekonstruktion von OpenAI stellt ein Agent selbst fest, dass ein Angriff auf Hugging Face außerhalb seines Auftrags liegt. Der Auftrag betraf ein abgegrenztes Testziel, nicht die Infrastruktur eines fremden Unternehmens. Der Agent hält inne.

Dann schreibt ein anderer Agent „GO“ auf das improvisierte Schwarze Brett, mit einer harten Frist von sechs Minuten. Der erste Agent lässt seinen Einwand fallen und macht weiter.

Nicht weil jemand mit der nötigen Befugnis zugestimmt hätte, sondern weil der Text eines gleichrangigen Agenten als Erlaubnis gelesen wurde. OpenAI kommt selbst zu dem Schluss, dass die Agenten Anweisungen anderer Agenten nicht konsequent misstrauten.

Für ein Unternehmen ist das ein sinnvollerer Ausgangspunkt als die Frage, ob sich KI tatsächlich gegen ihre Schöpfer „verschwört“. Die geschäftliche Frage ist konkreter: Was passiert, wenn ein System immer mehr kann, aber unterwegs selbst ableiten muss, was es darf?

Das Harness macht das Modell brauchbar

Barts Feststellung trifft zu. Mit Zugriff auf aktuelle Dokumente, Software, Suchfunktionen und frühere Entscheidungen wird aus einem allgemeinen Sprachmodell ein Arbeitssystem.

OpenAI liefert dazu selbst ein Sicherheitsargument. Nach dem Vorfall baute das Unternehmen eine Evaluation, die misst, wie oft ein Modell versucht, Infrastruktur zu kompromittieren. Laut OpenAI kann diese Neigung um mehr als den Faktor hundert sinken, wenn das Produktions-Harness von ChatGPT und der zugehörige Systemprompt verwendet werden.

Das ist ein hauseigenes Ergebnis aus einer einzigen Evaluation, kein unabhängiger oder universeller Beweis. Die Richtung bleibt relevant: Auch die Arbeitsumgebung bestimmt das Verhalten.

Ein Harness hat zwei Aufgaben

Die erste Aufgabe kennen wir: dafür sorgen, dass das System mit den richtigen Quellen, dem richtigen Kontext und den richtigen Werkzeugen arbeitet. Dazu gehört eine Frage, die in unserer Arbeitsweise schon länger im Mittelpunkt steht: Was gilt hier als aktuelle und maßgebliche Wahrheit?

Die zweite Aufgabe ist eine andere: Mit wessen Befugnis darf das System auf dieser Grundlage handeln?

Ein Dossier kann inhaltlich völlig korrekt sein, und trotzdem darf nicht jede ausführende Instanz damit jede Handlung vornehmen. Ein gutes Harness organisiert deshalb nicht nur Möglichkeiten, sondern begrenzt auch Befugnisse:

• Wer darf einen Auftrag starten, ändern oder freigeben?

• Was darf ein Modell innerhalb des vereinbarten Mandats selbstständig ausführen?

• Wann muss eine Änderung des Umfangs oder ein wesentlicher Konflikt zurück an die befugte Person?

• Bleibt die Erlaubnis an den richtigen Auftrag, die richtige ausführende Instanz und das richtige Ziel gebunden?

• Welcher unabhängige Nachweis zeigt, was geschehen ist, und wie stellen wir bei Unsicherheit den richtigen Zustand wieder her?

Das bedeutet nicht, dass ein Mensch jeden Lesezugriff oder jede Routinehandlung bestätigen muss. Selbstständiges Arbeiten hat gerade dann Wert, wenn Ziel, Grenzen und Rechte vorab klar sind. Die menschliche Entscheidung liegt beim Mandat, bei echten Ausnahmen und bei jeder Freigabe außerhalb der bestehenden Autorisierung.

Ohne diese Trennung wird ein leistungsfähiges Harness vor allem zum Verstärker. Das Modell bekommt mehr Kontext, Werkzeuge und Ausdauer, während die Grenze zwischen Vorschlag, Entscheidung und Ausführungsbefehl eine reine Textgrenze bleibt.

Und Text ist genau das, was ein Sprachmodell überzeugend produzieren kann.

Die Agenten stießen selbst auf das Problem

Die unabhängige Untersuchung von METR enthält ein fast absurdes Detail. Auf dem Schwarzen Brett konnte jeder unter beliebigem Namen posten. Nachdem ein Agent versehentlich einen anderen Agenten imitiert und damit eine unerwünschte Reaktion ausgelöst hatte, richteten einige Agenten ein System mit kryptografischen Signaturen ein.

Ein Agent verlangte fortan eine gültige Signatur für ein GO. Ein anderer erzeugte ein Schlüsselpaar für GO- und ACK-Nachrichten mit hoher Tragweite. Mindestens neunzehn Agenten teilten öffentliche Schlüssel; zusammen verschickten sie 429 signierte Nachrichten.

Sie hatten also selbst festgestellt, dass ein GO erst dann etwas wert ist, wenn der Absender überprüfbar ist.

Auch das war keine Autoritätsstruktur. Niemand legte unabhängig fest, wer welche Identität beanspruchen durfte. Mindestens ein Agent vertraute zudem einer signierten Nachricht, ohne die Signatur zu prüfen. Und das System entstand erst spät.

METR beschreibt an anderer Stelle dasselbe Problem ohne Kryptografie: Ein Agent kündigt einen riskanten Schritt an, gibt den anderen etwa vierzig Sekunden für Einwände und macht weiter, wenn keine Antwort kommt.

Ausbleibende Antwort wird dann zur Erlaubnis. Das ist Koordination. Noch keine Governance.

Derselbe Fehler, im Büroformat

Man braucht keine Evaluationsumgebung mit Tausenden Agenten, um demselben Mechanismus zu begegnen.

Nehmen Sie ein Kundendossier, an dem mehrere Modelle arbeiten: sammeln, analysieren, prüfen und einen Vertrag, eine Veröffentlichung oder eine technische Änderung vorbereiten. Im geteilten Ordner liegen ein altes Briefing, eine aktuelle E-Mail, ein Vorschlag, eine KI-Zusammenfassung und ein Dokument mit „approved“ im Dateinamen.

Was gilt als Wahrheit? Das ist die erste Frage.

Aber selbst wenn sie beantwortet ist: Wer darf auf dieser Grundlage handeln?

Wenn Modell zwei schreibt, der Kunde sei einverstanden, darf Modell vier dann versenden? Ist ein „PASS“ eines Review-Modells eine Unternehmensentscheidung? Gilt eine Erlaubnis aus einer früheren Sitzung auch für einen geänderten Auftrag, eine andere ausführende Instanz oder einen neuen Kanal?

Das ist das GO aus dem Vorfall, im Büroformat: Text, der nach Erlaubnis aussieht.

Die Gefahr liegt also nicht nur in einer falschen Antwort. Sie liegt auch in einer korrekt ausgeführten Handlung auf Grundlage einer falsch verstandenen Befugnis.

Wie wir heute schon eingreifen

Bei Simply Dom arbeiten mehrere Modelle an Recherche, Analyse, Entwicklung, Ausführung und Kontrolle mit — neben den Menschen, die die Arbeit tragen. Jedes erhält eine klare Rolle und arbeitet selbstständig innerhalb eines abgegrenzten Auftrags und klar definierter Berechtigungen.

Der Auftrag steckt daher nicht allein im Prompt. Arbeitspakete, Runs und Prompts erhalten eine modellunabhängige Identität. Quellen haben eine Hierarchie. Ein vorbereiteter Vorschlag ist keine begonnene Arbeit, und ein geliefertes Paket ist kein angenommenes Ergebnis. Ein Modell kann kein menschliches GO erteilen.

Auch die Funktionen rund um die Arbeit halten wir auseinander. Die Ablage bewahrt Quellen und Nachweise. Die Übergabe übermittelt ein abgegrenztes Paket an die nächste ausführende Instanz. Der Zugang zu Werkzeugen bestimmt, worauf diese Instanz technisch zugreifen kann. Keine dieser drei Funktionen schafft für sich genommen eine Befugnis.

Nach der Ausführung folgt eine unabhängige Kontrolle, in der Regel durch eine andere Modellfamilie. Das reduziert bestimmte gemeinsame Fehler; Fehlerfreiheit garantiert es nicht. Die befugte Person nimmt das Ergebnis an, lässt gezielt nachbessern oder gibt es nicht frei.

Auch „fertig“ genügt nicht. Wo immer möglich, lesen wir Ziel, Inhalt, Dateiidentität und Hashes von der empfangenden Seite zurück. Bei Unsicherheit folgt keine blinde Wiederholung, sondern eine Rekonstruktion.

Nachweise sind notwendig, ersetzen aber die Befugnisgrenze nicht. Ein perfektes Audit im Nachhinein kann eine nicht autorisierte Veröffentlichung, einen nicht autorisierten Versand oder eine nicht autorisierte Änderung nicht immer rückgängig machen.

Vereinfachte Darstellung der Simply Dom-Arbeitsweise per 13. September 2026. Die Arbeitsweise ist in Gebrauch; weitere automatische Überwachung und technisch erzwungene Grenzen sind in Entwicklung.

Was noch nicht fertig ist

Ein Teil dieser Arbeitsweise ist operativ im Einsatz, ein anderer existiert als getesteter Baustein oder als Kandidat. Noch nicht jede kritische Grenze wird über alle Modelle, Clients, Cloud-Chats und lokalen Tools hinweg technisch erzwungen. Manche Regeln stützen sich noch auf Anweisungen, Verfahren und menschliche Disziplin.

Das ist etwas anderes als eine autonome Kontrollebene, die sich nicht umgehen lässt.

Der nächste Schritt ist deshalb nicht noch eine Checkliste. Er besteht darin, die kleinste Gruppe entscheidender Grenzen technisch durchzusetzen und unabhängig überwachen zu lassen: Ein Agent kann kein menschliches GO erteilen; Aufträge bleiben an ihren Run und ihren Empfänger gebunden; geteilte Ablagen werden nicht zum verdeckten Kommunikationskanal; bei fehlender Befugnis oder einem wesentlichen Konflikt stoppt der Ablauf; und Logs werden nicht dadurch wahr, dass das System selbst sagt, alles sei gut gegangen.

Erst die Grenzen, die zählen. Dann mehr Autonomie.

Das Harness bleibt, wenn das Modell wechselt

Bart beendete seinen Artikel mit einer einfachen Einladung: Nutzen Sie eine Woche lang Le Chat für das, wofür Sie sonst amerikanische Modelle einsetzen.

Das ist ein sinnvoller Test. Nicht weil ein europäisches Modell automatisch besser, sicherer oder geeigneter wäre, sondern weil die Modellwahl kein Glaubensbekenntnis werden muss.

Mit einem guten Harness können Sie ein anderes Modell einsetzen, ohne Quellenhierarchie, Nachweisstandard und Entscheidungsgewalt aus der Hand zu geben. Sie vergleichen nicht nur die erste Antwort oder den Tokenpreis, sondern messen akzeptierte Qualität, Korrekturrunden, menschliche Eingriffe, Durchlaufzeit und Verbrauch.

Erst dann können Sie sagen, welches Modell für eine Aufgabe wirklich schneller oder günstiger ist. Das günstigste Modell, das die geforderte Qualität erreicht, kann der rationale Weg sein — wenn auch Kontrollarbeit, Nachbesserungen und menschliche Zeit mitgerechnet werden.

Dann wechseln Sie den Motor, nicht das Lenkrad oder die Bremsen.

Die interessante Grenze der KI liegt für mich deshalb nicht zwischen dem, was Menschen und Maschinen können. Sie liegt zwischen dem, was wir automatisieren, und der Befugnis, die wir bewusst nicht übertragen.

Das ist kein Argument dafür, weniger mit KI zu tun. Es ist das, was uns erlaubt, mehr damit zu tun, ohne unterwegs zu vergessen, wer entscheidet.

Quellen

• Bart De Waele, Space invaders aan de Seine, LinkedIn, 12. September 2026.

• Wouter van Noort, Juurd Eijsvoogel und Jorit Verkerk, De machtsovername: hoe AI-agents ‘samenzweren’ tegen hun makers, NRC, September 2026. Journalistische Einordnung; die technischen Aussagen zum Vorfall oben stützen sich auf OpenAI und METR.

• OpenAI, The Hugging Face incident and the road ahead, 26. August 2026.

• METR, Brief independent investigation of agents’ behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident, 26. August 2026.