AT&T utilizza già modelli open per circa il 25% dei propri workload di intelligenza artificiale e vuole arrivare al 70-80%. Dietro la scelta ci sono costi, protezione dei dati e sovranità tecnologica. Ma soprattutto una convinzione destinata a interessare l’intero mercato enterprise: utilizzare il modello più potente per qualsiasi operazione potrebbe essere economicamente insostenibile.

45 miliardi di token ogni giorno. È la quantità di intelligenza artificiale consumata mediamente da AT&T e probabilmente il numero migliore per capire perché uno dei maggiori operatori di telecomunicazioni americani abbia deciso che il futuro dell’AI aziendale non può dipendere esclusivamente dai grandi modelli proprietari.

OpenAI, Anthropic e Google continueranno certamente a far parte dell’equazione. Ma insieme a loro AT&T vuole utilizzare sempre più modelli open source e open weight, eseguiti nel cloud oppure direttamente sulla propria infrastruttura.

Oggi rappresentano circa il 25% dell’utilizzo complessivo di AI dell’azienda. Andy Markus, Chief Data and AI Officer di AT&T, ha spiegato al Wall Street Journal di aspettarsi che nel tempo possano arrivare al 70-80%.

Non è una dichiarazione ideologica a favore dell’open source, è soprattutto economia.

Perché quando un’azienda utilizza 45 miliardi di token al giorno, anche una differenza apparentemente piccola nel costo di inferenza diventa rapidamente molto grande.

E AT&T sostiene che in alcune applicazioni il passaggio dai modelli proprietari a quelli open abbia già prodotto risparmi compresi tra l’80 e il 90%.

La domanda interessante, quindi, non è perché AT&T stia facendo questa scelta: è quante altre grandi aziende arriveranno alla stessa conclusione.

Il problema comincia quando l’AI funziona davvero

Durante la fase sperimentale dell’intelligenza artificiale generativa, il costo del singolo modello può apparire relativamente secondario. Qualche migliaio di dipendenti utilizza un chatbot, alcuni team sperimentano agenti, l’azienda acquista API da OpenAI, Anthropic o Google e misura i risultati.

Poi l’AI entra nei processi. AT&T dichiara oltre mille casi d’uso interni, dalle funzioni legali e finanziarie all’assistenza ai tecnici sul campo, dall’analisi delle conversazioni con i clienti fino alla gestione della rete.

A quel punto cambia completamente la scala e compare quella che Markus definisce la “token apocalypse”.

Non perché improvvisamente i token diventino proibitivi, ma perché miliardi di operazioni apparentemente economiche, moltiplicate per migliaia di applicazioni e milioni di interazioni, possono trasformarsi in una voce di costo enorme.

È uno dei paradossi dell’AI enterprise: più funziona, più viene utilizzata. E più viene utilizzata, più diventa necessario capire quanto costa.

Non serve sempre il modello più intelligente del mondo

AT&T ha risposto costruendo quello che definisce uno smart router.

Il principio è relativamente semplice: quando arriva una richiesta, il sistema non la invia automaticamente al modello più avanzato disponibile. Valuta quale modello sia sufficientemente capace per eseguire quella specifica operazione considerando costo, accuratezza, velocità e altri parametri.

Una richiesta complessa può quindi essere indirizzata verso un frontier model mentre un’attività più semplice verso un modello open molto più economico. Un’operazione altamente specializzata invece verso un modello addestrato sulle telecomunicazioni.

AT&T descrive la propria soluzione come un gateway cache-aware capace di selezionare dinamicamente il modello più conveniente, arrivando in alcuni casi a cambiare modello anche durante una conversazione multi-turn.

È una differenza architetturale importante. L’azienda non costruisce la propria strategia AI intorno a un modello, costruisce un’infrastruttura capace di utilizzare molti modelli.

È il modello che diventa una commodity?

Non completamente. I frontier model continueranno ad avere un vantaggio significativo nelle operazioni che richiedono capacità avanzate di reasoning, coding, multimodalità o gestione di problemi particolarmente complessi.

Ma una grande impresa non ha necessariamente bisogno di utilizzare il modello migliore disponibile per riassumere ogni telefonata di un call center. È come utilizzare una Ferrari per consegnare la posta. Tecnicamente funziona ma economicamente non sembra essere l’idea migliore.

È qui che open-weight e modelli specializzati acquistano valore. Possono essere più piccoli, essere ottimizzati per un determinato dominio, funzionare su hardware meno costoso e soprattutto essere eseguiti direttamente sull’infrastruttura dell’azienda.

AT&T, per esempio, utilizza interamente modelli open per analizzare e sintetizzare le trascrizioni delle conversazioni del customer service e sta facendo qualcosa di ancora più interessante sulla rete.

AT&T si è costruita un’AI che parla il linguaggio telco

Si chiama OTel. La seconda generazione, OTel 2.0, è stata sviluppata nell’ambito dell’iniziativa Open Telco AI sostenuta dalla GSMA.

AT&T l’ha costruita partendo da un modello open e post-addestrandolo su 400 miliardi di token specifici delle telecomunicazioni, selezionati da oltre mille miliardi di token elaborati durante il processo.

L’obiettivo nasce da un problema piuttosto concreto. I grandi modelli general purpose conoscono moltissime cose, ma non necessariamente comprendono abbastanza bene il funzionamento di una rete di telecomunicazioni.

Un modello specializzato può invece essere addestrato sul linguaggio, sugli standard e sui problemi specifici del settore. AT&T utilizza già questa impostazione per agenti AI capaci di contribuire all’identificazione delle cause dei problemi di rete.

È il passaggio dai Large Language Model (LLM) al Domain Specific Language Model (DSPLM). E potrebbe diventare una delle trasformazioni più importanti della prossima fase dell’AI enterprise.

Gartner vede arrivare la stessa trasformazione

AT&T non sembra infatti rappresentare un caso isolato. Gartner prevede che entro il 2027 oltre il 50% dei modelli GenAI utilizzati dalle imprese sarà specifico per un settore o per una funzione aziendale, rispetto a circa l’1% del 2023.

Il mercato dei modelli specializzati sta già accelerando. Secondo le previsioni pubblicate da Gartner a luglio, la spesa mondiale per Domain Specific Language Models e modelli GenAI specializzati dovrebbe passare da circa 1,6 miliardi di dollari nel 2025 a 4,9 miliardi nel 2026, con una crescita del 210%.

È una conseguenza abbastanza naturale della maturazione del mercato. Nella prima fase le imprese volevano semplicemente avere accesso all’intelligenza artificiale. Nella seconda devono industrializzarla. E industrializzare significa ottimizzare.

Poi c’è il problema dei dati

Il costo, però, spiega soltanto metà della strategia AT&T. L’altra metà riguarda qualcosa che Markus definisce AI sovereignty.

Un operatore di telecomunicazioni possiede enormi quantità di dati proprietari: informazioni sulla rete, configurazioni, traffico, clienti, processi interni, performance delle infrastrutture.

Per AT&T quei dati rappresentano il vero patrimonio competitivo. “I dati enterprise sono la miniera d’oro”, ha spiegato Markus al Wall Street Journal. I modelli sono gli strumenti utilizzati per estrarlo.

Da questa prospettiva, poter eseguire un modello open sulla propria infrastruttura modifica il rapporto tra azienda e fornitore AI. Il dato può rimanere all’interno del perimetro controllato dall’impresa. L’azienda può decidere dove viene eseguita l’inferenza, può controllare input e output, può personalizzare il modello e, soprattutto, può sostituirlo.

Quest’ultimo punto potrebbe essere persino più importante degli altri.

La vera parola chiave è evitare il lock-in

AT&T sta sperimentando modelli provenienti da fornitori differenti, compresi alcuni sviluppati in Cina, almeno fintanto che l’amministrazione Usa non avrà qualcosa da ridire. In ogni caso la scelta è guidata dalla necessità di on diventare, nelle parole di Markus, dipendente da “one solution”.

È una strategia profondamente enterprise. Le grandi aziende hanno trascorso gli ultimi vent’anni cercando di evitare di dipendere eccessivamente da un singolo fornitore cloud, software o infrastrutturale. Proprio per questo sarebbe piuttosto sorprendente se decidessero adesso di affidare una parte crescente dei propri processi aziendali a un solo fornitore di intelligenza artificiale.

La multi-cloud strategy potrebbe quindi avere presto un equivalente: la multi-model strategy.

Per le telco il ragionamento è ancora più forte

Ed è qui che la scelta AT&T smette di riguardare soltanto AT&T. Gli operatori di telecomunicazioni possiedono caratteristiche che rendono questo modello particolarmente interessante. Gestiscono infrastrutture critiche, possiedono grandi quantità di dati, hanno competenze tecniche interne, dispongono spesso di data center e capacità computazionale propria, gestiscono milioni di interazioni con i clienti e hanno casi d’uso estremamente specializzati nella gestione delle reti.

Sono quindi candidati naturali a un’architettura nella quale alcuni workload utilizzano frontier model commerciali e altri vengono eseguiti attraverso modelli open specializzati.

La GSMA sembra pensarla allo stesso modo. A marzo ha lanciato Open Telco AI, iniziativa alla quale AT&T partecipa come founding supporter, con l’obiettivo esplicito di sviluppare modelli, benchmark e risorse aperte dedicate alle telecomunicazioni. L’idea è costruire modelli telco-grade hardware e cloud agnostic che possano essere utilizzati dall’intero settore.

OpenAI e Anthropic non spariranno dalle aziende

Sarebbe però sbagliato interpretare il fenomeno come una fuga dai modelli proprietari. AT&T stessa non lo sta facendo, sta costruendo un portafoglio: i modelli frontier continuano a essere utilizzati quando le loro capacità giustificano il prezzo; gli open model vengono impiegati quando possono fornire risultati comparabili a costi inferiori o quando sicurezza, personalizzazione e controllo dei dati diventano prioritari.

Il router decide. Ed è probabilmente questa la parte più interessante dell’intero modello: la competizione enterprise potrebbe non essere vinta da chi convince un’azienda a utilizzare esclusivamente il proprio LLM, ma da chi riesce a conquistare la quota più preziosa delle sue richieste.

Dopo il cloud, le imprese potrebbero imparare la lezione

Se guardiamo indietro a quello che è successo negli ultimi anni, molte aziende hanno trasferito infrastrutture e applicazioni sul cloud attratte da flessibilità e costi variabili. Poi, crescendo i workload, hanno scoperto che flessibilità non significa necessariamente economicità.

L’intelligenza artificiale potrebbe attraversare una traiettoria simile. Acquistare token attraverso API è straordinariamente semplice, finché se ne utilizzano pochi. Ma quando un’azienda arriva a consumarne 45 miliardi al giorno, la domanda cambia.

Non è più soltanto quale modello funziona meglio, diventa quale modello offre il miglior risultato per euro speso, dove deve essere eseguito, quale hardware deve utilizzarlo e chi deve controllare i dati che attraversano il sistema.

Gartner osserva già che i budget AI enterprise stanno entrando sotto maggiore scrutinio e che le aziende stanno concentrando sempre più l’attenzione su efficienza, controllo dei costi e risultati misurabili. È l’inevitabile passaggio dalla sperimentazione all’economia industriale dell’AI.

Il futuro enterprise potrebbe non avere un modello preferito

Per questo AT&T è interessante ben oltre le telecomunicazioni. La sua strategia suggerisce come potrebbe apparire una grande architettura AI aziendale tra qualche anno.

In alto ci saranno applicazioni e agenti. Sotto, un orchestratore deciderà quale modello utilizzare. Alcuni saranno OpenAI, Anthropic o Google, altri saranno open-weight e altri ancora saranno piccoli modelli specializzati costruiti o adattati dall’azienda.

Alcuni funzioneranno nel cloud, altri nei data center proprietari. Ma il dato rimarrà sotto un livello comune di governance e il modello diventerà progressivamente intercambiabile.

Se questa architettura dovesse affermarsi, cambierebbe anche una delle convinzioni sulle quali è stata costruita la prima fase dell’intelligenza artificiale generativa. Non qual è il miglior modello in assoluto, ma qual è il modello migliore per fare questa specifica cosa, con questi dati, a questo livello di sicurezza e al minor costo possibile?

AT&T utilizza 45 miliardi di token ogni giorno: a questa scala, non è più una questione filosofica tra open e closed, è un tema di conto economico.