L’intelligenza artificiale generativa sta entrando in una fase diversa rispetto a quella che ha dominato gli ultimi due anni. Dopo una lunga stagione in cui il mercato ha premiato soprattutto chi riusciva a costruire modelli sempre più grandi, la vera competizione si sta spostando su un terreno molto meno appariscente ma infinitamente più importante per i bilanci: il costo dell’inferenza. Secondo quanto riportato da The Information, gli ingegneri di OpenAI hanno sviluppato nuove tecniche che hanno consentito di ridurre di oltre il 50% il costo necessario per eseguire i propri modelli. Si tratta di un risultato che potrebbe avere un impatto economico persino superiore rispetto al rilascio di un nuovo modello linguistico.

La notizia contiene un dettaglio particolarmente significativo. In alcuni momenti di traffico, OpenAI sarebbe riuscita a servire gli utenti non autenticati di ChatGPT utilizzando soltanto poche centinaia di GPU Nvidia, un numero sorprendentemente contenuto considerando che la piattaforma gestisce centinaia di milioni di richieste ogni giorno. Questo suggerisce che il miglioramento non deriva esclusivamente dall’acquisto di nuovo hardware, ma soprattutto da un profondo lavoro di ottimizzazione software e infrastrutturale.

Dal punto di vista tecnico, il costo dell’inferenza rappresenta la spesa sostenuta ogni volta che un modello genera una risposta. A differenza dell’addestramento, che viene eseguito una sola volta e richiede enormi cluster di GPU per settimane o mesi, l’inferenza accompagna ogni singola interazione degli utenti. Se un modello riceve miliardi di richieste al mese, anche una riduzione minima del costo per token genera risparmi enormi.

Per ottenere un miglioramento superiore al 50% non basta una singola innovazione. È probabile che OpenAI abbia combinato diverse tecniche ormai considerate lo stato dell’arte nell’ingegneria dei modelli linguistici. Una delle più importanti riguarda la KV Cache, che evita di ricalcolare continuamente l’intero contesto della conversazione memorizzando gli stati intermedi dell’attenzione. Questa tecnica riduce drasticamente il numero di operazioni necessarie durante dialoghi lunghi.

Un altro elemento determinante è probabilmente l’utilizzo sempre più sofisticato delle Mixture of Experts (MoE). In un’architettura MoE non vengono attivati tutti i parametri del modello per ogni token generato. Un router intelligente seleziona soltanto una piccola parte delle reti neurali specializzate, riducendo il carico computazionale pur mantenendo elevate prestazioni. È una filosofia molto diversa rispetto ai tradizionali modelli densi, nei quali ogni parametro viene utilizzato a ogni inferenza.

Anche la quantizzazione gioca un ruolo fondamentale. Ridurre la precisione numerica dei pesi del modello, passando ad esempio da FP16 a FP8 o addirittura a rappresentazioni INT8 in alcune componenti, permette di diminuire il consumo di memoria, aumentare il throughput delle GPU e ridurre il consumo energetico senza degradare significativamente la qualità delle risposte. Le più recenti GPU Nvidia sono state progettate proprio per accelerare questi formati numerici a precisione ridotta.

Gli ingegneri possono inoltre intervenire sull’intero stack software. Kernel CUDA personalizzati, compilatori dedicati, ottimizzazione della memoria HBM, migliore scheduling delle richieste e batching dinamico consentono di mantenere le GPU costantemente occupate, riducendo i tempi morti. Framework come Triton e librerie di inferenza altamente ottimizzate permettono oggi di spremere prestazioni che fino a pochi mesi fa sarebbero sembrate irraggiungibili.

Un’altra area di miglioramento riguarda il cosiddetto speculative decoding. In questo approccio un modello più piccolo genera rapidamente una previsione dei token successivi, mentre il modello principale verifica il risultato invece di calcolare ogni token da zero. Quando la previsione è corretta, il tempo di generazione diminuisce sensibilmente, aumentando il numero di richieste elaborate dalla stessa infrastruttura.

È plausibile che OpenAI utilizzi anche sistemi di routing intelligente dei modelli, nei quali non tutte le richieste vengono elaborate dal modello più grande. Domande semplici possono essere gestite da modelli più piccoli ed economici, mentre solo i compiti realmente complessi vengono indirizzati ai modelli di fascia superiore. Questo approccio riduce drasticamente il costo medio per richiesta senza compromettere l’esperienza dell’utente.

Le implicazioni economiche sono probabilmente ancora più importanti delle innovazioni tecniche. Secondo le informazioni disponibili, OpenAI ha chiuso il primo trimestre con un margine lordo del 39% e punta a raggiungere circa il 52% entro la fine dell’anno. Un miglioramento di questa entità, per un’azienda che sostiene costi infrastrutturali nell’ordine di miliardi di dollari, equivale a creare enormi risorse finanziarie senza aumentare i ricavi.

Ridurre il costo dell’inferenza offre infatti quattro vantaggi simultanei. OpenAI può abbassare i prezzi delle API, aumentando la competitività verso sviluppatori e imprese; può offrire limiti di utilizzo più elevati agli abbonati di ChatGPT; può sostenere la crescita esplosiva della domanda senza moltiplicare in modo proporzionale gli investimenti nei data center; oppure può semplicemente migliorare i propri margini operativi.

Questa dinamica potrebbe ridefinire anche il confronto con Anthropic. Negli ultimi mesi la competizione si è concentrata soprattutto sulla qualità dei modelli, sulla capacità di ragionamento e sulle prestazioni nei benchmark. Tuttavia, quando due modelli raggiungono livelli qualitativi comparabili, il vantaggio competitivo tende a spostarsi sul costo per milione di token elaborati. Chi riesce a servire più utenti con meno GPU dispone di un vantaggio difficilmente recuperabile.

Non è un caso che tutti i grandi laboratori stiano investendo contemporaneamente in architetture più efficienti, compilatori specializzati, ottimizzazione dell’infrastruttura e progettazione di chip dedicati. L’intelligenza artificiale sta seguendo una traiettoria già vista nel cloud computing: dopo la fase pionieristica dominata dall’innovazione tecnologica arriva quella dell’efficienza operativa, nella quale ogni punto percentuale di utilizzo dell’hardware diventa un vantaggio competitivo.

La prossima guerra dell’AI potrebbe quindi non essere vinta esclusivamente dal modello più intelligente, ma da quello capace di offrire prestazioni elevate consumando metà delle risorse computazionali. Nel lungo periodo questa metrica potrebbe rivelarsi persino più importante della dimensione del modello stesso. In un settore dove l’inferenza rappresenta il costo ricorrente dominante, trasformare ogni GPU in una macchina capace di servire il doppio delle richieste equivale, di fatto, ad aver costruito un data center due volte più grande senza posare un solo mattone in più.