Bill Gates hat kürzlich den Begriff Human Reserved für Arbeit verwendet, die wir bewusst Menschen vorbehalten, auch wenn Maschinen sie technisch übernehmen könnten. Er vergleicht das mit einem Naturschutzgebiet: Man könnte dort bauen, man entscheidet sich dagegen, weil der Verlust zu groß wäre. Seine Beispiele handeln von Jobs und Pflege, von einem Roboter, der einem keine schlechte Nachricht überbringen sollte, und von der Frage, wer diese Grenzen dann ziehen soll. Diese letzte Frage lässt er offen.

Ich finde den Begriff auch in viel kleinerem Maßstab brauchbar: für die Art, wie ein Unternehmen KI und Agenten im Tagesgeschäft einsetzt. Das ist meine Anwendung, nicht die von Gates. Dort geht es selten darum, welcher ganze Job menschlich bleiben muss. Es geht darum, welche Entscheidung man nicht abgibt, auch wenn das System die zugehörige Handlung technisch einwandfrei ausführen kann. Bei Gates liegt der Schwerpunkt auf dem, was wir nicht verlieren wollen. In einem Unternehmen kommt eine andere Frage dazu: Wer ist befugt, die Entscheidung zu treffen, und wer bleibt danach dafür ansprechbar?

Können, dürfen, befugt sein

Bei KI fangen wir fast immer mit der ersten Frage an: Kann das System das? Quellen vergleichen, einen Vorschlag schreiben, Code produzieren, eine Akte zusammenfassen, eine Abweichung bemerken. Die Antwort ist inzwischen meistens ja, und wo sie noch nein ist, ist das oft vorübergehend.

Die zweite Frage ist, ob es das in dieser Umgebung darf. Darf es eine Datei ändern, einen Status aktualisieren, einen Nachrichtenentwurf bereitstellen? Das ist eine Sache von Zugriff und Einstellungen, und die meisten Unternehmen regeln das einigermaßen, und sei es nur, weil die IT danach fragt.

Die dritte Frage bekommt selten eine eigene Antwort: Ist das System befugt, darüber zu entscheiden? Das ist etwas anderes als Zugriff. Ein neuer Mitarbeiter kann das ERP perfekt bedienen und alle Rechte darin haben und trotzdem keinen Rabatt gewähren, kein Angebot über einem bestimmten Betrag verschicken und keinen Kunden sperren dürfen. Niemand findet das seltsam. Befugnis ist in einem Unternehmen immer etwas, das ausdrücklich erteilt wird, mit einer Vollmacht, einer Stellenbeschreibung oder einer Absprache. Sie folgt nicht daraus, dass jemand richtigliegt.

Für ein KI-System gilt dasselbe, nur wird es seltener so betrachtet. Ein System kann genug Informationen haben, um einen guten Vorschlag zu machen, ohne deshalb festlegen zu dürfen, dass der Vorschlag ab jetzt die Entscheidung ist. Es kann richtig einschätzen, was vermutlich die beste Wahl ist, und trotzdem nicht ermächtigt sein, im Namen des Unternehmens eine Ausnahme zuzulassen, jemanden freizugeben, etwas zu veröffentlichen oder eine kommerzielle Verpflichtung einzugehen.

Es kann recht haben und trotzdem nicht befugt sein.

Diese Unterscheidung wird wichtiger, je besser die Modelle werden, nicht unwichtiger. Solange KI unzuverlässig ist, ist menschliche Kontrolle selbstverständlich und niemand muss sie verteidigen. Gates selbst merkt an, dass die große Verschiebung erst kommt, wenn KI nahezu fehlerfrei arbeitet, weil es dann keinen praktischen Grund mehr zu geben scheint, jemanden mitschauen zu lassen. Im Unternehmen besteht dasselbe Risiko. Nicht unbedingt, dass jemand bewusst beschließt, die Entscheidungsbefugnis abzugeben, sondern dass sie allmählich mit der Zuverlässigkeit mitwandert, weil es bequem wird und niemand die Grenze ausdrücklich festgelegt hat.

Ein Mensch in der Schleife sagt noch nicht, wo die Befugnis liegt

„Human in the loop“ klingt beruhigend, sagt für sich genommen aber wenig. Es kann ganz am Ende noch jemand auf einen Knopf drücken, während das System die Frage schon formuliert, die Optionen eingegrenzt, die Bewertung vorgenommen und eine Antwort als selbstverständlich nach vorn geschoben hat. Formal saß ein Mensch dazwischen. In der Praxis tut diese Person kaum mehr, als zu bestätigen, was schon entschieden scheint, erst recht beim zehnten Mal an einem Tag, wenn die vorherigen neun Male richtig waren.

Das ist kein Argument gegen Menschen in der Schleife. Es ist ein Argument dafür, die Frage anders zu stellen: Welche Entscheidung wurde nie an das System delegiert, und hat die Person, die sie trifft, dabei noch wirklich etwas zu sagen?

Was darf das System vorschlagen? Was darf es selbst ausführen? Welcher Schritt ändert den Status einer Information? Welcher Schritt erzeugt eine Folge außerhalb des Unternehmens? Und wer hat das Mandat, diesen Übergang freizugeben?

Das gehört vor der Automatisierung festgelegt, nicht in dem Moment, in dem sich jemand hinterher fragt, warum das System etwas getan hat.

Eine Anfrage ist noch keine Freigabe

In einer Ambassador Journey, die wir selbst entwickelt haben, ist vieles automatisiert. Die Leute reichen ihr Profil und ihre Produktanfragen ein, die Anwendung prüft, ob die nötigen Daten vorhanden sind, hält Status und Verlauf fest, zeigt, was noch Aufmerksamkeit braucht, und bereitet den nächsten Schritt vor. Eine tägliche operative Übersicht verhindert, dass offene Punkte sich wieder über Dateien und Postfächer verteilen. KI und Agenten haben bei Recherche, Architektur, Entwicklung, Tests und Kontrolle geholfen, wodurch die App einen großen Teil der Vorbereitung und Nachverfolgung zuverlässig übernehmen kann.

Die kommerzielle Ebene steckt sehr wohl in dieser Ambassador Journey. Bewertung, Produktauswahl, Freigabe und die endgültige Übergabe an Sales gehören zum selben Prozess. Nur haben diese Schritte nicht alle denselben Eigentümer.

Die Journey darf festhalten, dass jemand ein Profil oder eine Anfrage eingereicht hat. Sie darf prüfen, ob die Informationen vollständig sind, und zeigen, welche Bewertung noch aussteht. Sie darf eine freigegebene Auswahl für die Übergabe vorbereiten.

Aber eine Anfrage wird nie von selbst zu einer geschäftlichen Freigabe. Die App legt nicht eigenständig fest, welche kommerzielle Bewertung gilt, und erzeugt keinen endgültigen Sales-Handoff, solange jemand mit der entsprechenden Befugnis diesen Schritt nicht ausdrücklich vollzogen hat. Die Anfrage selbst führt zu keiner Bestellung, keinem Vertrag und keiner kommerziellen Verpflichtung.

Software könnte technisch ohne viel Mühe selbst einen nächsten Status vergeben. Das ist nur nicht dasselbe wie befugt zu sein, die dahinterliegende geschäftliche Entscheidung zu treffen. Die Grenze liegt deshalb nicht nur darin, was die App kann, sondern darin, welche Statusübergänge sie eigenständig ausführen darf und welche eine ausdrückliche menschliche Entscheidung verlangen.

Manche Entscheidungen enthalten Kontext, der nicht vollständig in Eingabefelder passt: eine Beziehung, eine Ausnahme, eine kommerzielle Abwägung, die Verantwortung für das, was danach passiert. Und am Ende muss jemand im Namen der Organisation befugt sein, ja oder nein zu sagen, auch gegenüber der Person, die die Anfrage gestellt hat.

Wahrheit und Befugnis sind zwei verschiedene Fragen

Ich habe früher geschrieben, dass bessere KI uns zwingt, genauer zu bestimmen, was wahr ist: was eine Hypothese ist, was eine Entscheidung ist und was die aktuelle Projektwahrheit ist.

Das bleibt nötig. Aber angenommen, es ist alles in Ordnung. Die Quelle stimmt, die Information ist aktuell und das Modell interpretiert sie richtig. Dann ist die Frage, ob das System darauf handeln darf, immer noch offen. Sie wird nicht durch die Qualität der Information beantwortet.

Das eine bestimmt, was als wahr gilt. Das andere bestimmt, wer oder was damit etwas tun darf. Beides gehört zusammen, aber Entscheidungsbefugnis lässt sich nicht aus richtigen Informationen ableiten.

Auf Englisch heißt das authority governance, was vornehmer klingt, als es ist.

Feste Grenzen lassen mehr Automatisierung zu

Human Reserved klingt, als wollte man etwas vor der Automatisierung schützen. In der Praxis wirkt es eher umgekehrt. Wenn feststeht, welcher Statusübergang, welche Entscheidung oder welche externe Handlung menschliche Befugnis verlangt, kann das System bis zu dieser Grenze viel eigenständiger arbeiten, ohne bei jedem Zwischenschritt um Erlaubnis zu fragen. Die menschliche Aufmerksamkeit geht an die wenigen Momente, in denen sie wirklich gebraucht wird, und diese Momente sind benannt.

Das heißt nicht, dass ein System nie entscheiden darf. Eine automatische Nachbestellung unter einem Schwellenbetrag ist auch eine Entscheidung, und sie ist delegiert. Nur ist das dann bewusst geschehen, mit einer Grenze dazu, und alle wissen, dass es so ist.

Das scheint mir nützlicher, als möglichst viel Autonomie zu verteilen und hinterher zu rekonstruieren, wo die Entscheidung eigentlich gefallen ist.

Was KI kann, wird sich weiter verschieben, und was heute unmöglich ist, ist morgen eine gewöhnliche Funktion. Befugnis zieht nicht automatisch mit. Die muss jemand übertragen oder bewusst behalten, und der Unterschied zwischen beidem ist meistens nicht mehr als eine Absprache, die rechtzeitig getroffen wurde.