Inzicht

Een AI-systeem kan gelijk hebben en toch niet bevoegd zijn.

Een AI-systeem kan gelijk hebben en toch niet bevoegd zijn.

AI-systemen voeren steeds vaker zelf iets uit: een status bijwerken, een bericht klaarzetten, een wijziging voorbereiden voor productie. De vraag of het systeem dat kan, is dan snel beantwoord. Of het daarover mag beslissen, is een andere vraag, en die wordt zelden apart gesteld.

Een zware zwart-met-messing drukpers hangt vlak boven een onbedrukt vel karton op een donkere sokkel; de stempel raakt het papier net niet.

Bill Gates gebruikte onlangs de term Human Reserved voor werk dat we bewust aan mensen voorbehouden, ook wanneer machines het technisch zouden kunnen. Hij vergelijkt het met een natuurreservaat: je zou er kunnen bouwen, je kiest ervoor het niet te doen, omdat het verlies te groot zou zijn. Zijn voorbeelden gaan over jobs en zorg, over een robot die je geen slecht nieuws hoort te brengen, over wie die grenzen dan moet trekken. Die laatste vraag laat hij open.

Ik vind de term ook bruikbaar op een veel kleinere schaal: de manier waarop een bedrijf AI en agents in zijn dagelijkse werking inzet. Dat is mijn toepassing, niet die van Gates. Daar gaat het zelden over welke volledige job menselijk moet blijven. Het gaat over welke beslissing je niet overdraagt, zelfs wanneer het systeem de bijbehorende handeling technisch perfect kan uitvoeren. Bij Gates ligt de nadruk op wat we niet willen verliezen. Binnen een bedrijf komt daar een andere vraag bij: wie is bevoegd om de beslissing te nemen en wie blijft er nadien voor aanspreekbaar?

Kunnen, mogen, bevoegd zijn

Bij AI beginnen we bijna altijd bij de eerste vraag: kan het systeem dit? Bronnen vergelijken, een voorstel schrijven, code produceren, een dossier samenvatten, een afwijking opmerken. Het antwoord is intussen meestal ja, en waar het nog nee is, is dat vaak tijdelijk.

De tweede vraag is of het dat in deze omgeving mag. Mag het een bestand aanpassen, een status bijwerken, een conceptbericht klaarzetten? Dat is een kwestie van toegang en instellingen, en de meeste bedrijven regelen dat redelijk, al was het maar omdat IT erom vraagt.

De derde vraag krijgt zelden een eigen antwoord: is het systeem bevoegd om hierover te beslissen? Dat is iets anders dan toegang. Een nieuwe medewerker kan het ERP perfect bedienen en er alle rechten in hebben, en toch geen korting mogen toestaan, geen offerte boven een bepaald bedrag mogen versturen en geen klant op hold mogen zetten. Niemand vindt dat vreemd. Bevoegdheid is in een bedrijf altijd iets dat expliciet wordt gegeven, met een volmacht, een functiebeschrijving of een afspraak. Ze volgt niet uit het feit dat iemand de juiste inschatting maakt.

Voor een AI-systeem geldt hetzelfde, alleen wordt het minder vaak zo bekeken. Een systeem kan genoeg informatie hebben om een goed voorstel te maken zonder daarom te mogen bepalen dat het voorstel voortaan de beslissing is. Het kan correct inschatten wat wellicht de beste keuze is, en toch niet gemachtigd zijn om namens het bedrijf een uitzondering toe te staan, iemand goed te keuren, iets te publiceren of een commerciële verbintenis aan te gaan.

Het kan gelijk hebben en toch niet bevoegd zijn.

Dat onderscheid wordt belangrijker naarmate modellen beter worden, niet minder. Zolang AI onbetrouwbaar is, voelt menselijke controle vanzelfsprekend en hoeft niemand ze te verdedigen. Gates merkt zelf op dat de grote verschuiving pas komt wanneer AI nagenoeg foutloos werkt, omdat er dan geen praktische reden meer lijkt om iemand te laten meekijken. Op bedrijfsschaal zit daar hetzelfde risico. Niet noodzakelijk dat iemand bewust beslist om de beslissingsbevoegdheid over te dragen, maar dat ze stilaan meeschuift met de betrouwbaarheid omdat het gemakkelijk wordt en niemand de grens expliciet heeft vastgelegd.

Een mens in de loop zegt nog niet waar de bevoegdheid ligt

“Human in the loop” klinkt geruststellend, maar op zichzelf zegt het weinig. Er kan helemaal op het einde nog iemand op een knop drukken terwijl het systeem de vraag al heeft geformuleerd, de opties heeft beperkt, de beoordeling heeft gemaakt en één antwoord als vanzelfsprekend naar voren heeft geschoven. Formeel zat er een mens tussen. In de praktijk doet die persoon weinig meer dan bevestigen wat al beslist lijkt, zeker de tiende keer op een dag, wanneer de vorige negen keer correct waren.

Dat is geen argument tegen mensen in de loop. Het is een argument om de vraag anders te stellen: welke beslissing is nooit aan het systeem gedelegeerd, en heeft de persoon die ze neemt daar nog echt iets over te zeggen?

Wat mag het systeem voorstellen? Wat mag het zelf uitvoeren? Welke stap verandert de status van informatie? Welke stap creëert een gevolg buiten het bedrijf? En wie heeft het mandaat om die overgang goed te keuren?

Dat hoort vóór de automatisering vast te liggen, niet op het moment dat iemand zich achteraf afvraagt waarom het systeem iets heeft gedaan.

Een aanvraag is nog geen goedkeuring

In een Ambassador Journey die we zelf ontwikkelden, is veel geautomatiseerd. Mensen leveren hun profiel en productaanvragen aan, de applicatie controleert of de nodige gegevens aanwezig zijn, bewaart status en historiek, toont wat nog aandacht vraagt en bereidt de volgende stap voor. Een dagelijks operationeel overzicht voorkomt dat open punten opnieuw verspreid raken over bestanden en mailboxen. AI en agents hielpen bij onderzoek, architectuur, ontwikkeling, testen en controle, waardoor de app een groot deel van de voorbereiding en opvolging betrouwbaar kan overnemen.

De commerciële laag zit wel degelijk in die Ambassador Journey. Beoordeling, productkeuzes, goedkeuring en de uiteindelijke overdracht naar Sales maken deel uit van hetzelfde proces. Alleen hebben die stappen niet allemaal dezelfde eigenaar.

De Journey mag registreren dat iemand een profiel of aanvraag heeft ingediend. Ze mag controleren of de informatie volledig is en tonen welke beoordeling nog nodig is. Ze mag een goedgekeurde selectie voorbereiden voor overdracht.

Maar een aanvraag wordt nooit vanzelf een zakelijke goedkeuring. De app bepaalt niet zelfstandig welke commerciële beoordeling geldt en creëert geen definitieve Sales-handoff zolang iemand met de juiste bevoegdheid die stap niet expliciet heeft gezet. De aanvraag zelf leidt tot geen order, contract of commerciële verbintenis.

Software zou technisch zonder veel moeite zelf een volgende status kunnen toekennen. Dat is alleen niet hetzelfde als bevoegd zijn om de onderliggende zakelijke beslissing te nemen. De grens zit daarom niet alleen in wat de app kan, maar in welke statusovergangen ze zelfstandig mag uitvoeren en welke een expliciete menselijke beslissing vereisen.

Sommige beslissingen bevatten context die niet volledig in invoervelden zit: een relatie, een uitzondering, een commerciële afweging, de verantwoordelijkheid voor wat er daarna gebeurt. En uiteindelijk moet iemand namens de organisatie bevoegd zijn om ja of nee te zeggen, ook tegenover de persoon die de aanvraag deed.

Waarheid en bevoegdheid zijn twee verschillende vragen

Eerder schreef ik dat betere AI ons verplicht om nauwkeuriger te bepalen wat waar is: wat een hypothese is, wat een beslissing is en wat de actuele projectwaarheid is.

Dat blijft nodig. Maar stel dat het volledig in orde is. De bron klopt, de informatie is actueel en het model interpreteert ze correct. Dan blijft de vraag of het systeem daarop mag handelen nog altijd open. Ze wordt niet beantwoord door de kwaliteit van de informatie.

Het ene bepaalt wat als waar geldt. Het andere bepaalt wie of wat daarmee iets mag doen. Ze horen samen, maar beslissingsbevoegdheid kan niet uit correcte informatie worden afgeleid.

In het Engels heet dat authority governance, wat deftiger klinkt dan het is.

Vaste grenzen laten meer automatisering toe

Human Reserved klinkt alsof je iets tegen automatisering wil beschermen. In de praktijk werkt het eerder omgekeerd. Wanneer vastligt welke statusovergang, beslissing of externe actie menselijke bevoegdheid vraagt, kan het systeem tot aan die grens veel zelfstandiger werken, zonder bij iedere tussenstap om toestemming te vragen. De menselijke aandacht gaat naar de paar momenten waarop ze werkelijk nodig is, en die momenten zijn benoemd.

Dat betekent niet dat een systeem nooit mag beslissen. Een automatische herbestelling onder een drempelbedrag is ook een beslissing, en ze is gedelegeerd. Alleen is dat dan bewust gebeurd, met een grens erbij, en weet iedereen dat het zo is.

Dat lijkt me nuttiger dan zoveel mogelijk autonomie uitdelen en achteraf reconstrueren waar de beslissing eigenlijk is genomen.

Wat AI kan, zal blijven verschuiven, en wat vandaag onmogelijk is, wordt morgen een gewone functie. Bevoegdheid verhuist niet automatisch mee. Die moet iemand overdragen of bewust behouden, en het verschil tussen die twee is meestal niet meer dan een afspraak die op tijd is gemaakt.