Messen um zu skalieren: Das Problem, das die unternehmensweite KI blockiert
Vor zwei Jahren diskutierten die meisten Führungskräfte, die ich kenne, darüber, welches Sprachmodell sie wählen sollten. Heute fangen diejenigen, die diese Entscheidung bereits getroffen haben – und trotzdem keine zweite Investitionsrunde rechtfertigen können – langsam zu verstehen an, dass das Problem nie das Modell war. Es war die Messung.
Der Unternehmenssektor adaptiert seit mehreren Jahren künstliche Intelligenz in einem beschleunigten Tempo. Laut McKinsey haben 88 % der Organisationen KI in mindestens einer Geschäftsfunktion integriert. Doch nur ein Drittel von ihnen hat begonnen, sie konsequent zu skalieren. Diese Lücke – zwischen Ausprobieren und Skalieren – ist nicht technologischer Natur. Sie ist organisatorischer Natur und entsteht aus einem Gespräch, das die meisten Führungsteams bisher vermieden haben, präzise zu führen: Was bedeutet es, in operativen und finanziellen Begriffen ausgedrückt, dass dies funktioniert?
Bei Sustainabl beobachten wir seit geraumer Zeit, wie Unternehmen ihre Investitionsargumente für KI aufbauen. Was wir am häufigsten sehen, ist keine technische Inkompetenz. Es ist eine Verwechslung der Ebenen: Man misst, was der Anbieter liefert – Punktzahlen bei standardisierten Tests, Laborpräzision, vergleichende Rankings – und vergisst dabei, das Einzige zu messen, was der Vorstand sehen muss: Was hat sich im Unternehmen verändert.
Die Benchmark-Falle und was sie über Führung verrät
Wenn ein Führungsteam KI-Modelle durch den Vergleich von Referenzwerten bewertet, wiederholt es einen Fehler, den die Technologiewelt bereits in den neunziger Jahren mit Servern begangen hat: Spezifikationen statt Ergebnisse kaufen. Das Problem ist nicht, dass Benchmarks nutzlos sind. Es ist, dass sie eine andere Frage beantworten.
Benchmarks messen, wie gut ein Modell standardisierte Aufgaben löst, unter kontrollierten Bedingungen, mit Daten, die nichts mit den tatsächlichen Arbeitsabläufen Ihres Unternehmens, Ihrer proprietären Wissensbasis oder Ihren spezifischen Randfällen zu tun haben. Was im Produktivbetrieb geschieht – mit den Daten, die Sie haben, den bereits vorhandenen Prozessen und den Nutzern, die täglich damit interagieren – kann von diesen Kennzahlen um 15 bis 25 Prozentpunkte abweichen. Diese Lücke ist kein technisches Detail. Es ist der Abstand zwischen einem Anbieterversprechen und einem Geschäftsergebnis.
Was mich hier interessiert, ist nicht die Konstruktion des Modells. Mich interessiert, was diese Verwirrung darüber offenbart, wie Organisationen funktionieren, wenn sie mit neuer Technologie konfrontiert werden. Es gibt ein wiederkehrendes Muster: Angesichts von Unsicherheit neigt die Führung dazu, das Erfolgskriterium an den technischen Bereich zu delegieren. Die Sprache der Ingenieure wird übernommen – Präzision, Recall, F1-Score – ohne sie in die Sprache des Unternehmens zu übersetzen. Und das geschieht nicht, weil die Führung inkompetent ist. Es geschieht, weil niemand das unbequeme Gespräch führen wollte, zu definieren, was es bedeutet, mit dieser Investition zu scheitern.
Dieses Gespräch hat einen Preis. Wenn ein KI-Projekt nach 90 Tagen keine Bewegung bei einem operativen Indikator vorweisen kann, wird die Debatte politisch, bevor sie analytisch wird. Jede Abteilung verteidigt ihre Interpretation, niemand möchte für das Ergebnis verantwortlich sein, und das Projekt wird durch Trägheit aufrechterhalten oder aus Frustration eingestellt. Beide Ausgänge sind vermeidbar, wenn das Führungsteam von Anfang an – bevor ein Modell gewählt wird, bevor ein Anbieter ausgewählt wird – festlegt, welche Geschäftsindikatoren sich bewegen werden und in welchem Ausmaß.
Was ein Finanzvorstand hören muss
Es gibt einen Test, den ich gedanklich anwende, wenn ich KI-Investitionsvorschläge prüfe: Ich stelle mir vor, wie der Finanzvorstand den Business Case zwölf Monate nach dem Einsatz liest. Wenn das Dokument nur zeigen kann, dass das Modell 93 % bei einem Reasoning-Benchmark erreicht hat, ist das Projekt gefährdet. Nicht weil diese Zahl irrelevant wäre, sondern weil sie keine der Fragen beantwortet, die ein Finanzvorstand stellt, wenn er ein zweites Jahresbudget genehmigt.
Die eigentlichen Fragen lauten: Um wie viel hat sich die Bearbeitungszeit pro Fall verkürzt? Wie sehr hat sich die Erstlösungsrate verbessert? Was hat jede KI-gestützte Interaktion im Vergleich zu einer vollständig manuellen gekostet? Wie lange brauchten neue Mitarbeiter, um ein akzeptables operatives Niveau zu erreichen? Diese Kennzahlen liefert das Modell nicht. Sie liefert die vollständige Architektur des Systems: die Datenqualität, das Design der Informationsrecherche, die Integrationslatenz, die Kontrollmechanismen. Das Modell ist eine Variable innerhalb dieses Systems. Häufig ist es nicht die ausschlaggebendste Variable.
Was im Produktivbetrieb gemessen wird – mit den eigenen Daten des Unternehmens und den realen Randfällen des Geschäfts – definiert, ob die Lösung Wert liefert. Ein bescheideneres Modell, das besser auf die spezifische Wissensbasis und die sprachlichen Muster des Kunden kalibriert ist, kann ein ausgefeilteres Modell, das nie für diesen Kontext angepasst wurde, konstant übertreffen. Ich habe dies in Contact Centern des Versorgungssektors erlebt: Das „gewinnende" Modell aus dem Benchmark wurde schließlich durch ein einfacheres ersetzt, das bei den tatsächlichen Kundenanfragen besser abschnitt.
Die Schlussfolgerung ist direkt: Das Modell muss als austauschbare Komponente behandelt werden, nicht als Identität des Projekts. Organisationen, die ihre Architekturen nach dieser Logik gestalten – und dabei die Modellschicht von der Anwendungsschicht trennen – können ein Modell ersetzen, ohne die gesamte Lösung demontieren zu müssen. Diejenigen, die das nicht tun, geraten in eine technische Abhängigkeit, die jede künftige Verbesserung verteuert.
Ein Drei-Schichten-Rahmen, der Budgetzyklen überlebt
Nach der Beobachtung mehrerer Einsätze in Industrie- und Dienstleistungssektoren ist die Messstruktur, die die größte Beständigkeit zeigt, nicht die ausgefeilteste. Es ist diejenige, die für die gesamte Befehlskette am lesbarsten ist – vom technischen Team bis zum Vorstand.
Die erste Schicht misst Präzision im Produktivbetrieb: Welcher Prozentsatz der vom System generierten Ergebnisse ist ohne menschliche Korrektur korrekt, gemessen an den realen Unternehmensdaten und seinen Grenzfällen. Nicht die vom Anbieter gemeldete Genauigkeit. Diejenige, die aus den realen Interaktionen mit Nutzern und internen Experten entsteht.
Die zweite Schicht misst operative Effizienz: ob die Bearbeitungszeit gesunken ist, ob sich die Lösungsraten verbessert haben, ob die Eskalationen zurückgegangen sind. Dies sind die Kennzahlen, die den Weiterbetrieb rechtfertigen. Ein Einsatz, der innerhalb der ersten neunzig Tage keine Bewegung bei mindestens einem dieser Indikatoren vorweisen kann, hat irgendwo in der technischen Schicht ein Problem, und länger darauf zu warten, es zu erfahren, erhöht nur die Kosten der Korrektur.
Die dritte Schicht misst finanzielle Auswirkungen: die Kosten pro KI-gestützter Interaktion im Vergleich zur vollständig manuellen Interaktion, den Zeitraum der Investitionsrückgewinnung, die zurechenbare Ersparnis. Dies ist die Schicht, die das Projekt in ein Asset innerhalb der Entscheidungsbilanz der Führungsebene verwandelt. Ohne sie bleibt das Gespräch über KI im Bereich der Technologiebegeisterten, nicht bei denen, die Kapital zuweisen.
Was diesen Rahmen zum Funktionieren bringt, ist nicht seine Komplexität. Es ist, dass er die Organisation dazu zwingt, das Definitionsgespräch zu führen, bevor sie einsetzt. Drei bis fünf spezifische Geschäftsindikatoren für jeden Anwendungsfall zu definieren, bevor ein Modell oder Anbieter ausgewählt wird, ist keine methodologische Übung. Es ist das Signal dafür, dass die Führung versteht, worauf sie sich einlässt und nach welchem Kriterium sie beurteilen wird, ob es erfüllt wurde.
Wer gut misst, skaliert. Wer nicht, iteriert ohne Richtung
Der regulatorische Kontext verleiht diesem Gespräch Dringlichkeit. Die europäische KI-Verordnung, die seit August 2024 in Kraft ist und ab August 2026 umfassend angewendet wird, verlangt von Organisationen nicht nur, KI-Systeme einzusetzen, sondern auch nachweisen zu können, dass diese Systeme innerhalb definierter, prüffähiger und nicht diskriminierender Parameter betrieben werden. Das ist ohne eine aktive Messinfrastruktur nicht möglich. Unternehmen, die bereits über Dashboards zur Verfolgung operativer Indikatoren verfügen, sind – ohne es bewusst anzustreben – besser positioniert, um die kommenden Governance-Anforderungen zu erfüllen.
Aber die Regulierung ist das Mindestargument. Das eigentliche Argument ist das der organisatorischen Reife.
Die Unternehmen, denen es gelingt, KI zu skalieren, sind nicht unbedingt diejenigen, die das beste Modell gewählt haben. Es sind diejenigen, die die Disziplin aufgebaut haben, Ergebnisse zu messen, anzupassen und präzise genug zu kommunizieren, um die interne Unterstützung im Laufe der Zeit aufrechtzuerhalten. Diese Disziplin erfordert, dass jemand im Führungsteam die Unbequemlichkeit auf sich nimmt zu sagen: „Wir wissen noch nicht, ob das funktioniert, weil wir nicht rechtzeitig definiert haben, was es bedeuten würde, wenn es funktionieren würde."
Es gibt Organisationen, in denen dieses Gespräch nie stattgefunden hat, weil kein Führungskraft derjenige sein wollte, der den Enthusiasmus des Teams in Frage stellt, oder weil das Pilotprojekt mit zu viel politischem Lärm ankam, als dass jemand es gewagt hätte, klare Scheiternskriterien vorzuschlagen. Das Ergebnis ist das, was wir häufig sehen: Projekte, die in richtungslosen Iterationen weitergeführt werden, mit technischen Teams, die Kennzahlen optimieren, die niemand im Lenkungsausschuss interpretieren kann, und Führungskräften, die zusätzliche Budgets aus Angst genehmigen, zuzugeben, dass die erste Investition nicht das geliefert hat, was sie versprochen hatte.
KI löst dieses Problem nicht. Sie verstärkt es. Ein System, das Hunderttausende von Interaktionen pro Woche generiert, verstärkt sowohl den Wert als auch den Fehler. Wenn Sie nicht wissen, was Sie messen, werden Sie auch nicht wissen, was Sie multiplizieren.
Das Modell wird sich immer verbessern. Die Anbieter werden leistungsfähigere Versionen in immer kürzeren Zyklen auf den Markt bringen. Was sich nicht von selbst verändert, ist die Fähigkeit einer Organisation, klare Kriterien zu etablieren, bevor sie handelt, ehrlich zu messen, was geschieht, und anzupassen, ohne das Projekt von Grund auf neu aufbauen zu müssen. Das liefert kein Modell. Das baut die Führung auf – oder es baut es niemand auf.
