Geliehene Autonomie: Warum Unternehmens-KI-Agenten nicht einfach eingeschaltet werden können
Es gibt einen Unterschied zwischen einem System, das in einer Demo funktioniert, und einem, das keinen Schaden anrichtet, wenn niemand hinschaut. Bei KI-Agenten misst sich dieser Unterschied in veränderten Datensätzen, verarbeiteten Zahlungen und Entscheidungen, die ohne menschliches Eingreifen getroffen wurden. Das Problem ist nicht technologischer Natur. Es ist ein Governance-Problem.
Eine im Forbes Technology Council veröffentlichte Analyse eines Senior Managers für generative KI bei Amazon Web Services setzt die Debatte genau dort an, wo sie hingehört: nicht bei den Fähigkeiten des Modells, sondern bei der Überwachungsarchitektur, die den Agenten umgibt. Die operative Frage, die er aufwirft, ist brutal einfach. Bevor ein agentisches System eingesetzt wird, muss eine Organisation wissen, ob sie seine Fehler erkennen kann, nachdem sie aufgetreten sind, und ob diese Erkennung das Verhalten des Systems verändern kann. Lautet die Antwort auf eine dieser beiden Fragen Nein, ist die Entscheidung, Autonomie zu gewähren, verfrüht – unabhängig davon, welche Benchmarks das Modell bestanden hat.
Das mag konservativ klingen in einem Markt, in dem Grand View Research schätzt, dass das globale Segment für agentische KI im Jahr 2026 einen Umfang von 22,9 Milliarden US-Dollar erreichen und bis 2033 auf 224,5 Milliarden US-Dollar anwachsen wird. Aber die Marktgröße ist kein Sicherheitsargument. Sie ist ein Dringlichkeitsargument dafür, es richtig aufzubauen.
Das Erstattungsmodell, das das eigentliche Problem offenbart
Die Analyse verwendet ein Beispiel, das banal erscheint und sich als präzise erweist: ein Agent, der Kundenerstattungen verwaltet. Die erste Unterscheidung, die sie trifft, liegt zwischen dem Verfassen einer Antwort und dem Ausstellen der Erstattung. Ersteres erzeugt Text, den ein Mensch prüfen kann. Letzteres verändert den Stand eines Bankkontos.
Diese Unterscheidung ist nicht semantischer Natur. Sie definiert die Art des möglichen Fehlers, seine Umkehrbarkeit und die Kosten seiner Erkennung. Ein schlecht formulierter Text erzeugt Reibung. Eine falsche Zahlung erzeugt finanziellen Verlust, regulatorische Exposition und, je nach Branche, rechtliche Konsequenzen. Die Geschwindigkeit, mit der ein Agent Fehler produzieren kann, ist genau proportional zur Geschwindigkeit, mit der er operieren kann.
Der vorgeschlagene Ansatz besteht darin, die menschliche Genehmigung anhand vorab definierter Kriterien zu strukturieren: welche Fälle der Agent bearbeiten kann und welche Nachweise er vor dem Handeln haben muss. Unvollständige Bestelldatensätze, mehrdeutige Richtlinien oder nicht spezifizierte Bedingungen müssen eine automatische Eskalation auslösen, keine improvisierte Antwort des Modells. Dadurch wird die menschliche Aufsicht von einem vagen Konzept in eine operative Kontrolle mit expliziten Kriterien verwandelt.
Was diese Architektur interessant macht, ist das, was sie über den häufigsten Fehler bei agentischen Implementierungen offenbart: die Annahme, dass eine hohe Abschlussrate gleichbedeutend mit korrekten Ergebnissen ist. Ein System kann 95 % der Fälle abschließen und dennoch systematische Fehler in den verbleibenden 5 % produzieren, ohne dass es jemand bemerkt, weil niemand die scheinbar erfolgreichen Fälle prüft. Die Empfehlung lautet, auch die beanstandungslos gelösten Fälle zu stichprobenartig zu prüfen, nicht nur die Eskalationen. Andernfalls entscheidet der Agent, welche Teile seiner eigenen Arbeit einer Prüfung unterzogen werden – was genau das Gegenteil von Aufsicht ist.
Eine Studie aus dem Jahr 2026, die 15 Modelle anhand von zwei verschiedenen Benchmarks evaluierte, stellte fest, dass Verbesserungen der Fähigkeiten mit bescheidenen Zuwächsen bei der Zuverlässigkeit einhergingen. Die Zahl ist bedeutsam, weil sie die gängigste Intuition widerlegt: dass ein leistungsfähigeres Modell proportional sicherer im Einsatz ist. Leistung und Konsistenz skalieren nicht mit derselben Geschwindigkeit.
Die Ökonomie, die Berichte gewöhnlich verbergen
Die Analyse schlägt eine hypothetische Kalkulation mit 1.000 Erstattungsfällen vor: 850 vom Agenten ohne menschliche Korrektur gelöst, 100 von Menschen gelöst, 50 ungelöst. Software und Infrastruktur kosten 400 US-Dollar; Validierung, Prüfung und Nachbearbeitung kosten 1.600 US-Dollar. Das Ergebnis: 950 überprüfte Fälle für 2.000 US-Dollar, rund 2,11 US-Dollar pro Fall. Die Kalkulation schließt die anfänglichen Implementierungskosten und die Folgen nicht erkannter Fehler aus.
Die Arithmetik erscheint günstig. Die übliche Darstellung desselben Falls würde jedoch eine Abschlussrate von 95 % ausweisen und die Einsparungen dem Agenten zuschreiben. Was dieser Bericht weglässt, ist der menschliche Arbeitsbeitrag, der im Beispiel 80 % der Gesamtprozesskosten ausmacht. Wenn diese Kosten von einem anderen Team oder einer anderen Budgetlinie getragen werden, kann die Entscheidung zur Skalierung auf einer künstlich reduzierten Kostenbasis getroffen werden.
Eine Untersuchung aus dem Jahr 2024 mit dem Titel „AI Agents That Matter" argumentiert genau dies: Die meisten Evaluierungspraktiken für Agenten konzentrieren sich zu sehr auf die rohe Präzision und vernachlässigen die Kosten. Für eine Einsatzentscheidung muss die korrekte Kalkulation die Zeit einschließen, die Menschen damit verbringen, die Arbeit des Agenten zu überprüfen, zu korrigieren und zu vervollständigen. Diese Zeit kann im Engineering-Budget unsichtbar sein, wenn das Betriebsteam die Ausnahmen absorbiert, ohne sie als mit dem System verbundene Kosten zu melden.
Das Problem verstärkt sich bei der Skalierung. Die einfachen Fälle, die als erste automatisiert werden, liefern die günstigste Ökonomie. Die Ausweitung der Autonomie auf strittige Transaktionen oder komplexe Fälle erfordert eine gesonderte Bewertung, denn die Ökonomie der einfachen Fälle lässt nicht vorhersagen, wie viel Zeit die schwierigen in Anspruch nehmen werden. Ein Agent, der 850 Standard-Erstattungen à 0,47 US-Dollar bearbeitet, kann Ausnahmen erzeugen, die 60 US-Dollar an menschlicher Prüfung pro Fall kosten. Die aggregierte Abschlussrate sieht weiterhin gut aus. Die tatsächliche operative Marge nicht.
Es gibt einen zusätzlichen Kostenpunkt, den die Analyse erwähnt und der dazu neigt, aus Geschäftsmodellen zu verschwinden: die Prüfwarteschlange braucht einen Verantwortlichen. Die Prüfer benötigen ausreichende Nachweise, um zu verstehen, was geschehen ist, und eine Möglichkeit, den Fall abzuschließen, ohne die gesamte vorherige Arbeit zu wiederholen. Ist diese Kapazität nicht im Bereitstellungsplan vorgesehen, warten die Fälle auf eine Genehmigung, während der Agent weiterläuft – und der Kunde wartet ebenso, unabhängig davon, wie schnell das System seine ursprüngliche Antwort generiert hat.
Die Kette, die Fehler in Einschränkungen verwandelt
IBM gab am 27. Oktober 2026 Aktualisierungen seiner Plattform watsonx Orchestrate bekannt, die Benutzersimulation, deterministische Evaluierung, Fehleruntersuchung im Produktivbetrieb, Generierung von Testfällen und einen „AgentOps Agent" umfassen, der darauf ausgelegt ist, die Qualität des Agenten vor seiner Überführung in die Produktion zu verbessern. Die Produktrichtung ist genau die, die die Forbes-Analyse aus der Governance-Perspektive beschreibt: das Verbinden dessen, was im Produktivbetrieb geschieht, mit dem Systemverhalten, bevor eine Ausweitung der Autorität genehmigt wird.
Diese Architektur – Test vor dem Einsatz, Beobachtung im Betrieb, Aktualisierung der Einschränkungen – ist der Kreislauf, der einen Agenten zu etwas macht, das ein Unternehmen verwalten kann, anstatt es nur zu überwachen. Der Unterschied besteht darin, dass Überwachen Fehler erkennt. Verwalten verwandelt sie in Richtlinienanpassungen, Autorisierungsgrenzen oder neue Testfälle, die ein Wiederauftreten verhindern.
Der von der Analyse vorgeschlagene Ansatz folgt einer konkreten Abfolge: mit vorgeschlagenen Aktionen beginnen, zur menschlichen Genehmigung übergehen und die Ausführung innerhalb definierter Grenzen erlauben, sobald die Ergebnisse dies rechtfertigen. Einige Fälle können dauerhaft eine Genehmigung erfordern. Eine Richtlinienänderung, ein wachsender Rückstand oder nachträglich entdeckte Fehler sollten eine Überprüfung der bereits erteilten Berechtigungen auslösen, nicht der zukünftigen.
Der letzte Schritt dieser Kette ist derjenige, der bei realen Implementierungen am leichtesten ausgelassen wird: den für den Prozess verantwortlichen Fachbereichsverantwortlichen darum zu bitten, die ungelösten Fälle und die bei der Prüfung festgestellten Fehler durchzugehen, und zu fragen, was sich infolge dieser Analyse geändert hat. Die nächste Entscheidung über Autonomie sollte davon abhängen, ob diese Probleme gelöst wurden und ob das Team, das die Ausnahmen verwaltet, die Kapazität hat, zusätzliche Arbeit zu absorbieren. Wenn keine dieser beiden Fragen beantwortet werden kann, ist die Ausweitung der Autorität des Agenten eine Wette, keine Entscheidung.
Bevor Berechtigungen vergeben werden: Definiere, wer die Fehlerkosten trägt
Das Muster, das aus dieser Analyse hervorgeht, ist nicht neu in der Geschichte der Unternehmensautomatisierung. Jede Technologiewelle – von ERP bis RPA – durchlief eine Phase, in der das Effizienzversprechen anhand der Fälle bewertet wurde, die das System gut bewältigte, und die tatsächlichen Kosten in den Fällen sichtbar wurden, die es nicht beherrschte. Der Unterschied bei Sprachagenten besteht darin, dass ihre Flexibilität – genau das, was sie attraktiv macht – ihre Fehler auch weniger vorhersehbar macht als die einer deterministischen Regel.
Ein Agent, der mit einer Anweisung in natürlicher Sprache operiert, kann sein Verhalten je nach Kontext, bei mehrdeutigen Daten, bei Modellaktualisierungen oder bei Tools, die je nach Systemzustand unterschiedlich reagieren, variieren. Das bedeutet, dass seine Validierung anhand eines endlichen Benchmarks in der Vorproduktion keine Konsistenz im Produktivbetrieb garantiert. Es garantiert, dass er diesen Benchmark bestanden hat.
Die Frage, die jeder Betriebsverantwortliche sich stellen sollte, bevor er die Ausweitung der Autorität eines Agenten genehmigt, lautet nicht, wie viele Fälle er abgeschlossen hat. Sie lautet: Wie viele der abgeschlossenen Fälle wurden von jemandem mit der Fähigkeit, einen Fehler zu erkennen, überprüft – und was hat die Organisation mit den gefundenen Fehlern gemacht? Wenn niemand die erfolgreichen Fälle geprüft hat, wenn die gefundenen Fehler die Systemregeln nicht verändert haben oder wenn das Prüfteam keinen Einblick in das Reasoning des Agenten hat, misst die Abschlussrate nicht das, was sie zu messen scheint.
Die Märkte für agentische KI werden mit oder ohne Governance wachsen. Was darüber entscheidet, welche Organisationen kontrolliert skalieren und welche stille Verbindlichkeiten anhäufen, ist genau das: ob die Fehlerkosten im richtigen Budget sichtbar sind, ob die Prüfer die Werkzeuge haben, um die Arbeit abzuschließen, die der Agent nicht beendet hat, und ob jemand dafür verantwortlich ist, jeden Fehler in eine Einschränkung zu verwandeln, die den nächsten verhindert. Autonomie wird nicht gewährt. Sie wird mit operativer Evidenz aufgebaut – und dieser Prozess dauert länger, als der Bereitstellungskalender gewöhnlich zulässt.
