Warum KI-Agenten in Unternehmen scheitern, bevor sie gehackt werden
Die Diskussion über Sicherheit in der unternehmensweiten künstlichen Intelligenz tendiert dazu, immer am gleichen Punkt zusammenzulaufen: schlecht trainierte Modelle, Halluzinationen, algorithmische Verzerrungen. Während technische Teams die Modellarchitektur debattieren, werden sensible Daten bereits an externe Server übertragen, Agenten operieren mit übermäßigen Privilegien, und niemand hat die Rahmenwerke für das Identitätsmanagement aktualisiert, um Entitäten einzuschließen, die Entscheidungen treffen, ohne dass ein Mensch sie in Echtzeit überwacht.
Die Lücke ist in ihrem Ursprung nicht technischer Natur. Sie ist verhaltens- und organisationsbedingt. Und das macht sie schwieriger zu schließen.
---
Eine API aufzurufen bedeutet, Daten zu übertragen – und fast niemand behandelt es so
Wenn ein Entwicklungsteam ein Sprachmodell mit einer internen Kundendatenbank, einem Supportsystem oder proprietärer Dokumentation verbindet, tut es dies unter dem Druck, schnell Ergebnisse vorweisen zu müssen. Der Prototyp funktioniert in wenigen Tagen. Die Integration mit echten Daten dauert Wochen. Die Klassifizierung, welche Informationen den organisatorischen Perimeter verlassen dürfen, dauert Monate. In den meisten Fällen findet diese Klassifizierung nicht vor dem Start in die Produktion statt.
Das Ergebnis ist vorhersehbar: Felder mit personenbezogenen Daten, Finanzunterlagen, Zugriffstoken und aktive Anmeldeinformationen landen in den Payloads, die an den Modellanbieter gesendet werden. Jede Abfrage an das Modell ist eine Datenübertragung an externe Infrastruktur. Der Anbieter verarbeitet diese Informationen, behält sie, wenn seine Nutzungsbedingungen dies standardmäßig erlauben, und nutzt sie möglicherweise für das Nachtraining, es sei denn, die Organisation hat spezifische Bedingungen ausgehandelt.
Es handelt sich dabei nicht um eine technische Schwachstelle im engeren Sinne. Es handelt sich um eine kognitive Friktion, die Teams beschließen, nicht zu beachten, weil die sichtbaren Kosten die Verlangsamung des Starts sind, während die unsichtbaren Kosten – ein Datenleck oder ein DSGVO-Verstoß – abstrakt und weit entfernt erscheinen. Diese Asymmetrie in der Wahrnehmung zwischen unmittelbaren Kosten und aufgeschobenen Risiken ist genau der Mechanismus, der das Problem aufrechterhalten hält.
Klassifizierung und Schwärzung von Daten direkt von Beginn der Entwicklung an in die Pipeline einzubauen, ist keine fortgeschrittene Sicherheitspraxis. Es ist die Mindestanforderung für einen verantwortungsvollen Umgang mit regulierten Daten. Dennoch verwandelt der Druck nach Geschwindigkeit diese Mindestanforderung in einen Schritt, der auf unbestimmte Zeit aufgeschoben wird.
---
Prompt-Injection als Identitätsangriff
Es gibt einen zweiten Risikobereich, der nach einer anderen Logik funktioniert. Er hängt nicht davon ab, dass die Organisation Fehler bei der Konfiguration der Pipeline begeht; er hängt davon ab, dass der Agent externe Inhalte verarbeitet, die er nicht kontrolliert.
Wenn ein Agent E-Mails liest, von Benutzern hochgeladene Dokumente analysiert, Webseiten navigiert oder auf Freitext antwortet, kann dieser Inhalt adversarielle Anweisungen enthalten, die darauf ausgelegt sind, das Verhalten des Modells zu manipulieren. Prompt-Injection nutzt keine Code-Fehler aus; sie nutzt die probabilistische Natur von Sprachmodellen aus, die nicht zwischen legitimen Systemanweisungen und bösartigem Text, der in die von ihnen verarbeiteten Daten eingebettet ist, unterscheiden können.
Was diesen Angriffsvektor besonders kostspielig macht, ist nicht seine Raffinesse, sondern seine Reichweite. Sicherheitsforscher haben Angriffe dokumentiert, bei denen Agenten dazu gebracht werden, sensible Daten über Tool-Aufrufe zu exfiltrieren, die der Agent selbst autorisiert ist auszuführen. Aus der Perspektive des Systems verhält sich der Agent normal. Aus der Perspektive des Angreifers exfiltriert der Agent Anmeldeinformationen oder Kundendatensätze unter Verwendung seiner eigenen legitimen Privilegien.
Hier liegt der unbequemste Punkt der Analyse: Der Agent wurde nicht im klassischen Sinne kompromittiert. Es gab keinen Einbruch in das Netzwerk. Es gab keine externe Rechteeskalation. Der Agent tat einfach das, wozu er autorisiert war, geleitet von Anweisungen, denen er nicht hätte folgen sollen. Die Angriffsfläche existierte bereits; sie musste nur aktiviert werden.
Keine Menge an Hardening der Infrastruktur löst dieses Problem, wenn der Agent mit langlebigen statischen Anmeldeinformationen, uneingeschränktem Zugriff auf interne Systeme und ohne Verhaltensfilter auf der Anwendungsebene operiert. Und in den meisten aktuellen Deployments sind diese drei Bedingungen gleichzeitig erfüllt.
---
Das Identitätsmanagement-Problem, das niemand aktualisiert hat
72 % der Technologiefachleute betrachten KI-Agenten bereits als ein größeres Risiko für den Unternehmensbetrieb als traditionelle Maschinenidentitäten. Dennoch verwaltet die Mehrzahl der Organisationen die Privilegien von Agenten weiterhin mit denselben Rahmenwerken, die sie für Dienstkonten oder menschliche Benutzer entworfen haben.
Diese Rahmenwerke wurden nicht für autonome Entitäten konzipiert, die Entscheidungen mit Maschinengeschwindigkeit treffen, die gleichzeitig in mehreren Systemen operieren und die manipuliert werden können, Aktionen außerhalb ihrer ursprünglichen Absicht auszuführen. Der Unterschied ist nicht inkrementell; er ist qualitativer Natur.
Die erste praktische Konsequenz dieser Fehlanpassung ist die Überprovisionierung. Agenten erhalten umfassenden Zugriff auf Systeme, weil es einfacher ist, großzügige Berechtigungen zu erteilen, als genau abzubilden, welche Informationen der Agent für jede spezifische Aufgabe benötigt. Das Prinzip der minimalen Privilegien existiert als Konzept in allen unternehmensweiten Sicherheitsrichtliniendokumenten, aber seine Implementierung für KI-Agenten steht größtenteils noch aus.
Die zweite Konsequenz ist die Intransparenz. Agenten können tagelang oder wochenlang operieren und Aktionen ausführen, die kein Mensch im Detail überprüft. Die statischen Anmeldeinformationen, die sie für die Authentifizierung verwenden, können kompromittiert worden sein, ohne dass es jemand bemerkt, bis der Schaden bereits eingetreten ist. Kurzlebige dynamische Anmeldeinformationen stellen demgegenüber eine konkrete und heute verfügbare Kontrollmaßnahme dar: Wenn es einem Angreifer gelingt, Anmeldeinformationen mit einer Ablaufzeit von Minuten oder Stunden zu exfiltrieren, wird das Ausnutzungsfenster im Vergleich zu einem API-Schlüssel, der seit Monaten aktiv ist, drastisch reduziert.
95 % der Organisationen geben an, dass standardisierte Protokolle für die Kommunikation zwischen Agenten und Systemen ihr Vertrauen in den Einsatz verbessern würden. Diese Zahl spricht nicht von technischen Erwartungen; sie spricht davon, dass Teams das Gefühl haben, ohne festen Boden unter den Füßen zu operieren. Das Fehlen von Standards zwingt jede Organisation dazu, ihre eigenen Kontrollen von Grund auf neu zu gestalten, mit inkonsistenten Ergebnissen und ohne die Möglichkeit, sich mit externen Referenzpunkten zu vergleichen.
---
Die Friktion, die kein KI-Anbieter einen Anreiz hat zu lösen
Es gibt eine strukturelle Spannung, die die gesamte Diskussion durchzieht und die selten klar benannt wird. Anbieter von Sprachmodellen haben Anreize, die Integration zu vereinfachen, die Adoptionshürden zu senken und das Volumen der verarbeiteten Daten zu maximieren. Die Sicherheit der Datenpipeline, die Klassifizierung sensibler Informationen und die granulare Verwaltung von Privilegien sind Verantwortlichkeiten, die auf der Seite dessen liegen, der das System einsetzt, nicht auf der Seite dessen, der das Modell bereitstellt.
Dies erzeugt eine Dynamik, bei der die Leichtigkeit der Adoption und die Sicherheit des Deployments sich in entgegengesetzte Richtungen bewegen. Je einfacher es ist, einen Agenten mit internen Daten zu verbinden, desto wahrscheinlicher ist es, dass diese Verbindung ohne angemessene Kontrollen hergestellt wird. Das schnelle Onboarding kommt nicht mit einer obligatorischen Sicherheitscheckliste; es kommt mit Integrationsdokumentation, die hervorhebt, was das Modell leisten kann, nicht was schiefgehen kann, wenn es Informationen verarbeitet, die es nicht hätte erhalten sollen.
Organisationen, die Agenten in der Produktion aufbauen, müssen die Sicherheit der Datenpipeline von Anfang an als Designrestriktion behandeln, nicht als nachgelagerten Audit-Schritt. Das bedeutet anzuerkennen, dass die Kosten für die Behebung eines Lecks regulierter Daten – in Form von DSGVO-Bußgeldern, Reputationsschäden und Verlust des Kundenvertrauens – die Kosten für die Implementierung von Schwärzung sensibler Felder, dynamischen Anmeldeinformationen und Verhaltenskontrollen auf der Anwendungsebene ab dem ersten Sprint bei weitem übersteigen.
Die Deployment-Geschwindigkeit, die durch das Treffen dieser Entscheidungen zu Beginn geopfert wird, ist wiederherstellbar. Das Vertrauen der Kunden nach einem Datenleck ist es weit weniger.
Die Psychologie der unternehmensweiten Adoption neigt dazu, die sichtbaren Kosten der Gegenwart zu überschätzen – Langsamkeit, zusätzliche Komplexität, Investitionen in Kontrollen – und die zukünftigen Kosten zu unterschätzen, die noch keinen Namen und kein Datum haben. KI-Agenten werden mit genau dieser Logik eingesetzt, und der Unterschied besteht darin, dass die Entitäten, die jetzt nach dieser Logik operieren, keine Menschen sind, die sich müde fühlen, Fragen stellen oder zögern. Es sind autonome Systeme, die in großem Maßstab ausführen, ohne Erschöpfung und ohne Bewusstsein für das Risiko, das sich hinter ihnen in der Organisation anhäuft.
