Die KI-Pipeline im Unternehmen verliert kein Geld durch Tokens – sie verliert es vorher
Es gibt einen Moment, in dem die Anhäufung von KI-Pilotprojekten aufhört, wie Ehrgeiz auszusehen, und anfängt, wie Chaos zu wirken. Dieser Moment trat für viele große Unternehmen im Jahr 2026 ein, und das klarste Signal war kein technologischer Zusammenbruch und kein Modellversagen. Es war etwas Banaleres und in einer Vorstandssitzung Schwerer zu Verteidigendes: Der Token-Verbrauch lief dem Budget davon, ohne proportionalen Mehrwert zu erzeugen.
Uber war einer der Fälle, die ans Licht kamen. Das Unternehmen passte seine internen KI-Ausgaben an, nachdem der Verbrauch das Geplante überstieg. Es war keine bizarre Ausnahme; es war das sichtbare Symptom eines Musters, das sich in Organisationen wiederholt, die in den zwei vorangegangenen Jahren mit einer maximalistischen Logik auf KI gesetzt hatten: mehr Anwendungsfälle, mehr eingesetzte Agenten, mehr in das System eingebundene Mitarbeiter, mehr verbrauchte Tokens. Die Logik war anfangs vertretbar. Wenn eine Technologie neu ist und ihr Transformationspotenzial noch unklar ist, macht breite Erkundung Sinn. Das Problem ist, dass diese Erkundung nicht aufhörte, als sie einer bewussten Architektur hätte weichen sollen.
Sumeet Agrawal, Vice President of Product Management für Data, KI-Governance und Context Engineering bei Salesforce, veröffentlichte in Fortune eine Diagnose, die mehr Aufmerksamkeit verdient, als eine Unternehmenskolumne üblicherweise erhält. Sein zentrales Argument ist präzise: Die Senkung des Token-Preises löst das Problem nicht, weil das Problem nicht im Preis liegt. Es liegt darin, wie Unternehmen architektonisch aufgestellt sind, um Tokens zu nutzen.
Eine Pipeline, die in jeder Phase leckt
Die Metapher, die Agrawal verwendet, ist nützlich, weil sie präzise ist: Die moderne KI-Pipeline in einem großen Unternehmen verhält sich wie ein Sieb. Sie lässt Tokens durchsickern – und damit Geld – in jeder Phase der Ausführung. Und das geschieht nicht zufällig; es geschieht durch Design. Oder genauer gesagt: durch das Fehlen von Design.
Wenn ein Agent eine Vertriebs- oder Kundendienstanfrage erhält und darunter keine gut aufgebaute Dateninfrastruktur hat, überschwemmt er den Prompt zunächst mit rohem Kontext. Ungekuratete Daten, doppelte Datensätze, nicht priorisierter Verlauf. Das Modell verarbeitet dann diese Informationsmasse, von der der Großteil Rauschen ist. Laut Agrawal kann dieser Überschuss fünf bis zehnmal mehr Tokens als nötig pro Interaktion bedeuten. Bei Preisen zwischen zehn und fünfzehn Dollar pro Million Tokens und Tausenden von täglichen Interaktionen in einem mittelgroßen bis großen Unternehmen wird die Arithmetik schnell schwer zu ignorieren.
Der zweite Leckagestelle ist der ungesteuerte Datenzugriff. Ohne einen klaren Katalog, ohne Datenherkunft, ohne Qualitätssignale navigieren Agenten durch Datenspeicher auf der Suche nach verlässlichen Informationen. Der Prozess ist langsam, teuer und liefert inkonsistente Ergebnisse. Governance, wenn sie überhaupt existiert, funktioniert in der Regel als nachträgliche Kontrolle und nicht als Routing-Signal, das den Agenten vom ersten Versuch an zu zertifizierten Daten lenkt.
Der dritte Leckagepunkt ist möglicherweise der kostspieligste in Bezug auf das direkte Budget: jede Aufgabe an das größte verfügbare Modell zu senden, unabhängig von der Komplexität der Aufgabe. Eine routinemäßige Klassifizierung oder eine einfache Suche erfordert nicht dasselbe Modell wie ein komplexes Reasoning oder eine sensible Entscheidung. Alle Fälle mit demselben Frontier-Modell zu behandeln ist das organisationale Äquivalent dazu, ein Team aus leitenden Führungskräften für Aufgaben einzusetzen, die ein Junior-Analyst lösen könnte: technisch möglich, funktional absurd.
Die letzten beiden Leckagepunkte sind weniger sichtbar, aber ebenso kostspielig. Agenten ohne persistentes Gedächtnis beginnen jede Interaktion von vorne: Sie laden Kontext neu, verarbeiten den Verlauf erneut, entdecken Ausnahmen wieder, die bereits gelöst waren. Und Agenten ohne wiederverwendbare Semantik generieren erneut Antworten, die hätten gecacht oder vorberechnet werden können. Jede wiederkehrende Interaktion wird bezahlt, als wäre es die erste.
Was Anbieter nicht für Sie lösen können
Anthropic, OpenAI und Google haben die Preise für Eingabe-Tokens gesenkt und Mechanismen zum Caching von Prompts eingeführt. Cursor integriert in seiner Version Composer 2.5 die Kosten als Variable bei der Modellauswahl – nicht nur die Leistung. Das sind rationale Antworten auf den Druck der Kunden, aber sie greifen die falsche Variable an, wenn das Unternehmen seine internen Architekturprobleme noch nicht gelöst hat.
Den Preis pro Token in einem System zu senken, das zehnmal mehr Tokens als nötig verbraucht, erzeugt eine proportionale Einsparung, schließt aber nicht die strukturelle Lücke. Es ist eine lineare Verbesserung bei einem Problem, das eine Lösung um Größenordnungen erfordert. Das Unternehmen, das die Architektur zuerst löst, gewinnt einen Vorteil, den Preissenkungen nicht replizieren können, weil dieser Vorteil nicht im Token-Markt liegt: Er liegt in der Qualität der eigenen Daten, in der Governance der Datenströme und in der Fähigkeit, Arbeit je nach Art der Aufgabe an das richtige Modell zu routen.
Agrawal formuliert es klar: Jedes Unternehmen kann mehr Tokens kaufen. Sehr wenige wissen, wie man aus weniger Tokens mehr Wert extrahiert. Der Unterschied zwischen beiden ist nicht technologischer Natur im engeren Sinne. Er ist architektonischer und organisatorischer Natur.
Das Beispiel, das er anbietet, ist konkret: die Integration zwischen Informaticas Master Data Management und Data 360, der Kundendatenplattform von Salesforce, stellt sicher, dass jeder Agent auf verifiziertem und semantisch angereichertem Kundenkontext operiert. Das Ergebnis ist nicht nur Token-Effizienz: Es ist die Umwandlung des unkontrollierten KI-Verbrauchs in messbaren und prüfbaren Geschäftswert.
Die wahren Kosten des fehlenden Designs
Aus einer Perspektive des organisatorischen Designs ist das, was Agrawal beschreibt, weder ein technologisches Problem noch ein Preisproblem. Es sind die aufgeschobenen Kosten dafür, die Phase der disziplinierten Erkundung übersprungen zu haben, um sich in einer verfrühten Ausbeutungsphase einer Technologie niederzulassen, die noch nicht die Grundlagen hatte, um effizient ausgebeutet zu werden.
Unternehmen, die zwischen 2024 und 2025 mit maximalistischer Logik auf KI setzten, taten dies unter legitimem Druck: Die Unsicherheit darüber, welche Modelle, welche Arbeitsabläufe und welche Teams Wert erzeugen würden, rechtfertigte eine Strategie des breiten Einsatzes. Was nicht gerechtfertigt war – und was viele Organisationen nicht taten – war, parallel dazu die Daten- und Governance-Infrastruktur aufzubauen, die bestimmen würde, ob dieser Einsatz nachhaltig skalieren oder lediglich technische Schulden anhäufen würde.
Das Problem ist nicht, dass man erkundet hat. Das Problem ist, dass man ohne grundlegendes Design erkundet hat. Und jetzt präsentiert sich dieses fehlende Design in Form von Token-Rechnungen, die die Pläne übersteigen, und Ergebnissen, die nicht auf spezifische Investitionen zurückgeführt werden können.
Es gibt ein Muster bei der Einführung von Unternehmenstechnologien, das es wert ist, benannt zu werden: Organisationen neigen dazu, zu früh mit den falschen Kriterien zu messen und damit Initiativen zu verurteilen, die noch nicht mit denselben Metriken wie das Kerngeschäft bewertet werden sollten. Aber sie neigen auch dazu, Initiativen, die bereits Wert erzeugen sollten, zu lange ohne jede Metrik zu lassen. Im Bereich der unternehmensweiten KI taten viele Unternehmen das Zweite: Sie setzten ein, ohne zu messen oder zu architekturieren, und stehen nun vor der Korrektur aus einer Position größerer Unordnung und größerer aufgelaufener Kosten.
Die Korrektur ist nicht in absoluten Zahlen teuer. Ein gut aufgebauter Datenkatalog, Qualitätssignale, die als Router funktionieren, persistentes Gedächtnis für Agenten, klare Regeln zur Modellzuweisung entsprechend der Aufgabenkomplexität: Keine dieser Entscheidungen erfordert ein außerordentliches Budget. Sie erfordern etwas, das in Organisationen, die bereits im Skalierungsmodus sind, schwerer zu bekommen ist: bewusste Priorität und architektonische Disziplin, die über die Zeit aufrechterhalten wird.
Der Vorteil, den man auf dem Modellmarkt nicht kaufen kann
Agrawal rahmt die Token-Effizienz als den nächsten Wettbewerbsvorteil in der Unternehmens-KI ein. Die Einschätzung ist richtig, lässt sich aber verfeinern. Der eigentliche Vorteil liegt nicht in der Token-Effizienz als isolierter Kennzahl. Er liegt in der organisatorischen Fähigkeit, eigene Daten in verlässlichen Kontext für Agenten umzuwandeln, die im großen Maßstab operieren, mit ausreichender Governance, damit die Ergebnisse prüfbar und zurechenbar sind.
Das ist keine Fähigkeit, die man bei einem Modellanbieter kauft oder durch die Senkung des Preises pro Million Tokens erhält. Es ist eine Fähigkeit, die intern aufgebaut wird, mit Datenarchitekturentscheidungen, die dem Einsatz von Agenten vorangehen – und nicht umgekehrt. Unternehmen, die bereits über diese Infrastruktur verfügen, gewinnen einen Vorteil, der sich mit der Zeit vergrößert: Jede Interaktion ist günstiger, schneller und zuverlässiger als die vorherige. Diejenigen, die sie nicht haben, sehen sich mit Kosten konfrontiert, die nicht sinken, nur weil die Token-Preise fallen.
Der Markt für Sprachmodelle wird mit der Zeit günstiger werden. Das ist so gut wie sicher. Aber die Lücke zwischen Unternehmen, die wissen, wie man KI effizient einsetzt, und denen, die es nicht wissen, wird weiterhin ein Problem des organisatorischen Designs, der Datenqualität und der Governance sein. Und diese Lücke hat keine Lösung im Katalog eines externen Anbieters.
Organisationen, die im Jahr 2026 noch immer mit zustandslosen Agenten operieren, ohne funktionale Datenkataloge und alle Arbeitslasten an das teuerste verfügbare Modell senden, bezahlen nicht für Tokens. Sie bezahlen den aufgeschobenen Preis dafür, ihre KI-Infrastruktur nicht entworfen zu haben, als es noch günstig war, es zu tun.
