Misurare per scalare: il problema che blocca l'IA aziendale
Due anni fa, la maggior parte dei dirigenti che conosco discuteva su quale modello linguistico scegliere. Oggi, quelli che hanno già preso quella decisione — eppure non riescono a giustificare un secondo ciclo di investimento — cominciano a capire che il problema non è mai stato il modello. È stata la misurazione.
Il settore aziendale adotta l'intelligenza artificiale a ritmo accelerato ormai da diversi anni. Secondo McKinsey, l'88% delle organizzazioni ha incorporato l'IA in almeno una funzione di business. Ma solo un terzo di esse ha iniziato a scalarla con coerenza. Quel divario — tra sperimentare e scalare — non è tecnologico. È organizzativo, e nasce da una conversazione che la maggior parte dei team dirigenziali ha evitato di affrontare con precisione: cosa significa, in termini operativi e finanziari, che questo funzioni.
In Sustainabl osserviamo da tempo come le aziende costruiscono i propri casi di investimento nell'IA. Quello che vediamo con maggiore frequenza non è incompetenza tecnica. È una confusione di livelli: si misura ciò che il fornitore consegna — punteggi in test standardizzati, precisione in laboratorio, classifiche comparative — e si dimentica di misurare l'unica cosa che il consiglio di amministrazione ha bisogno di vedere: cosa è cambiato nel business.
La trappola del benchmark e ciò che rivela sulla leadership
Quando un team dirigenziale valuta modelli di IA confrontando punteggi di riferimento, sta ripetendo un errore che il mondo tecnologico ha già commesso con i server negli anni Novanta: comprare specifiche invece di risultati. Il problema non è che i benchmark siano inutili. È che rispondono a una domanda diversa.
I benchmark misurano quanto bene un modello risolve compiti standardizzati, in condizioni controllate, con dati che non hanno nulla a che vedere con i flussi reali della tua azienda, la tua base di conoscenza proprietaria né i tuoi casi limite specifici. Ciò che accade in produzione — con i dati che hai, i processi che già esistono e gli utenti che interagiscono quotidianamente — può differire da quelle metriche di 15 fino a 25 punti percentuali. Quel divario non è un dettaglio tecnico. È la distanza tra una promessa di un fornitore e un risultato di business.
Ciò che mi interessa qui non è l'ingegneria del modello. Mi interessa ciò che questa confusione rivela su come operano le organizzazioni quando si trovano di fronte a una nuova tecnologia. C'è uno schema ricorrente: di fronte all'incertezza, la leadership tende a delegare il criterio del successo al dominio tecnico. Si adotta il linguaggio degli ingegneri — precisione, recall, punteggio F1 — senza tradurlo nel linguaggio del business. E questo non accade perché la leadership sia incompetente. Accade perché nessuno ha voluto avere la conversazione scomoda di definire cosa significhi fallire con questo investimento.
Quella conversazione ha un costo. Quando un progetto di IA arriva ai 90 giorni senza poter mostrare alcun movimento in nessun indicatore operativo, il dibattito diventa politico prima di diventare analitico. Ogni area difende la propria interpretazione, nessuno vuole essere il responsabile del risultato e il progetto si regge sull'inerzia o viene cancellato per frustrazione. Entrambi gli esiti sono evitabili se il team dirigenziale stabilisce fin dall'inizio — prima di scegliere il modello, prima di selezionare il fornitore — quali indicatori di business si muoveranno e di quanto.
Cosa ha bisogno di sentire un direttore finanziario
C'è una prova che applico mentalmente quando rivedo proposte di investimento nell'IA: immaginare il direttore finanziario che legge il caso di business dodici mesi dopo il dispiegamento. Se il documento può mostrare solo che il modello ha ottenuto il 93% in un benchmark di ragionamento, il progetto è a rischio. Non perché quel numero sia irrilevante, ma perché non risponde a nessuna delle domande che un direttore finanziario pone quando autorizza un secondo anno di budget.
Le domande reali sono: di quanto è sceso il tempo di risoluzione per caso, di quanto è migliorato il tasso di risoluzione al primo contatto, quanto è costata ciascuna interazione assistita dall'IA rispetto a una completamente manuale, quanto tempo hanno impiegato i nuovi agenti per raggiungere un livello operativo accettabile. Queste metriche non le fornisce il modello. Le fornisce l'architettura completa del sistema: la qualità del dato, il design del recupero delle informazioni, la latenza di integrazione, i meccanismi di controllo. Il modello è una variabile all'interno di quel sistema. Spesso non è la variabile più determinante.
Ciò che si misura in produzione, confrontando i dati reali dell'azienda e i casi limite reali del business, è ciò che definisce se la soluzione produce valore. Un modello più modesto, meglio calibrato sulla base di conoscenza specifica e sui pattern linguistici del cliente, può superare costantemente uno più sofisticato che non è mai stato adattato a quel contesto. Ho visto accadere questo nei contact center del settore dei servizi pubblici: il modello "vincente" del benchmark è finito per essere sostituito da uno più semplice che si comportava meglio nelle richieste reali dei clienti.
L'implicazione è diretta: il modello deve essere trattato come un componente intercambiabile, non come l'identità del progetto. Le organizzazioni che progettano le proprie architetture con questa logica — separando il livello del modello dal livello dell'applicazione — possono sostituire un modello senza smantellare l'intera soluzione. Quelle che non lo fanno rimangono intrappolate in una dipendenza tecnica che rende più costoso qualsiasi miglioramento futuro.
Un framework a tre livelli che sopravvive ai cicli di budget
Dopo aver osservato molteplici dispiegamenti in settori industriali e di servizi, la struttura di misurazione che dimostra la maggiore durabilità non è la più sofisticata. È la più leggibile per tutta la catena di comando, dal team tecnico fino al consiglio di amministrazione.
Il primo livello misura la precisione in produzione: quale percentuale dei risultati generati dal sistema sono corretti senza correzione umana, misurati rispetto ai dati reali dell'azienda e ai suoi casi estremi. Non l'accuracy che riporta il fornitore. Quella che emerge dalle interazioni reali con utenti ed esperti interni.
Il secondo livello misura l'efficienza operativa: se il tempo di gestione è diminuito, se i tassi di risoluzione sono migliorati, se le escalation sono diminuite. Queste sono le metriche che giustificano il proseguimento. Un dispiegamento che non riesce a mostrare movimento in almeno uno di questi indicatori entro i primi novanta giorni ha un problema da qualche parte nello stack tecnico, e aspettare più a lungo per scoprirlo non fa che aumentare il costo della correzione.
Il terzo livello misura l'impatto finanziario: il costo per interazione assistita rispetto all'interazione completamente manuale, il periodo di recupero dell'investimento, il risparmio attribuibile. Questo è il livello che converte il progetto in un asset all'interno del bilancio delle decisioni dirigenziali. Senza di esso, la conversazione sull'IA rimane nel dominio degli appassionati di tecnologia, non in quello di chi assegna il capitale.
Ciò che fa funzionare questo framework non è la sua complessità. È che obbliga l'organizzazione ad avere la conversazione di definizione prima del dispiegamento. Definire da tre a cinque indicatori di business specifici per ciascun caso d'uso, prima di selezionare il modello o il fornitore, non è un esercizio metodologico. È il segnale che la leadership capisce a cosa si sta impegnando e con quale criterio valuterà se è stato mantenuto.
Chi misura bene scala. Chi non lo fa itera senza direzione
Il contesto normativo aggiunge urgenza a questa conversazione. La normativa europea sull'intelligenza artificiale, in vigore dall'agosto 2024 con applicabilità estesa dall'agosto 2026, richiede che le organizzazioni non solo dispieghino sistemi di IA, ma siano in grado di dimostrare che tali sistemi operano all'interno di parametri definiti, verificabili e non discriminatori. Ciò non è possibile senza un'infrastruttura di misurazione attiva. Le aziende che già dispongono di dashboard per il monitoraggio degli indicatori operativi si trovano, senza averlo pianificato, in una posizione migliore per rispettare le esigenze di governance che arriveranno.
Ma la regolamentazione è l'argomento minimo. L'argomento di fondo è di maturità organizzativa.
Le aziende che riescono a scalare l'IA non sono necessariamente quelle che hanno scelto il modello migliore. Sono quelle che hanno costruito la disciplina di misurare, aggiustare e comunicare i risultati con sufficiente precisione da sostenere il supporto interno nel tempo. Quella disciplina richiede che qualcuno nel team dirigenziale si assuma il disagio di dire: "Non sappiamo ancora se questo funziona perché non abbiamo definito in tempo cosa significherebbe che funzionasse."
Ci sono organizzazioni in cui quella conversazione non è mai avvenuta perché nessun dirigente ha voluto essere quello che metteva in dubbio l'entusiasmo del team, o perché il progetto pilota è arrivato con troppo rumore politico perché qualcuno osasse proporre criteri di fallimento chiari. Il risultato è quello che vediamo frequentemente: progetti che si reggono su iterazioni senza direzione, con team tecnici che ottimizzano metriche che nessuno nel comitato direttivo riesce a interpretare, e leader che approvano budget aggiuntivi per paura di riconoscere che il primo investimento non ha consegnato ciò che prometteva.
L'IA non risolve quel problema. Lo amplifica. Un sistema che genera centinaia di migliaia di interazioni a settimana amplifica sia il valore che l'errore. Se non sai cosa stai misurando, non saprai nemmeno cosa stai moltiplicando.
Il modello migliorerà sempre. I fornitori lanceranno versioni più capaci in cicli sempre più brevi. Ciò che non cambia da solo è la capacità di un'organizzazione di stabilire criteri chiari prima di agire, misurare con onestà ciò che accade e aggiustare senza dover ricostruire il progetto da zero. Questo non lo fornisce nessun modello. Lo costruisce la leadership, o non lo costruisce nessuno.
