The Shift from Models to Compound AI Systems
Come spesso sento ripetere dal Prof. Navigli l’ossessione dell’industria tecnologica per il prossimo modello fondazionale rischia di diventare rapidamente obsoleta. Mentre investitori, media e dirigenti continuano a misurare il progresso dell’intelligenza artificiale quasi esclusivamente attraverso il numero di parametri, la dimensione dei dataset e il costo dell’addestramento, una trasformazione più profonda sta già avvenendo nei laboratori di ricerca e nelle implementazioni enterprise: i migliori risultati non arrivano più da singoli modelli monolitici, ma da sistemi composti, architetture nelle quali più modelli, strumenti software, motori di ricerca, database vettoriali e componenti simboliche cooperano per risolvere problemi complessi. Secondo l’analisi pubblicata da un gruppo di ricercatori guidati da Matei Zaharia e studiosi provenienti da università come Stanford e Oxford, questo cambiamento rappresenta uno dei trend più rilevanti dell’intera industria AI.
La distinzione è tutt’altro che accademica. Un modello AI, per quanto sofisticato, rimane essenzialmente una funzione statistica che predice il token successivo. Un sistema AI composto, invece, coordina molteplici componenti interagenti: modelli linguistici, retrieval system, strumenti esterni, moduli di verifica, sistemi di esecuzione del codice e logiche di orchestrazione. Questa differenza modifica radicalmente il paradigma industriale. L’innovazione non dipende più soltanto da chi possiede i cluster GPU più costosi, ma anche da chi riesce a progettare le architetture più intelligenti.
Gli esempi citati dai ricercatori sono eloquenti. Il sistema AlphaCode 2 non si limita a generare una singola soluzione a un problema di programmazione; produce fino a un milione di possibili risposte, le valuta, le raggruppa e seleziona le migliori attraverso una pipeline sofisticata. Analogamente, AlphaGeometry combina modelli linguistici e motori simbolici matematici per affrontare problemi olimpici di geometria, raggiungendo prestazioni paragonabili a medaglisti internazionali. Persino sistemi consumer largamente diffusi come ChatGPT operano ormai come ecosistemi composti, integrando browser web, interpreti Python e generatori di immagini.
Dal punto di vista economico, la logica è ineccepibile. Incrementare di tre volte il budget di addestramento di un grande modello potrebbe produrre miglioramenti marginali, ad esempio passando dal 30% al 35% di accuratezza in determinati compiti. Una progettazione sistemica intelligente, invece, può portare la stessa tecnologia a livelli di affidabilità molto superiori senza attendere mesi di training né investire centinaia di milioni di dollari in infrastrutture computazionali.
Questa dinamica introduce un elemento quasi eretico nel dibattito contemporaneo: la superiorità tecnologica non è necessariamente monopolio delle Big Tech. Startup, integratori di sistema e team enterprise dotati di competenze architetturali avanzate possono costruire applicazioni altamente competitive utilizzando modelli esistenti e concentrandosi sull’ingegneria del sistema. In altre parole, il vantaggio competitivo si sposta parzialmente dal capitale finanziario al capitale progettuale.
Le ragioni che rendono inevitabile questa transizione sono molteplici. I modelli rimangono entità statiche, addestrate su dataset che inevitabilmente invecchiano. Le organizzazioni, al contrario, operano in ambienti dinamici nei quali documenti, policy, normative e dati cambiano continuamente. Da qui l’esplosione delle architetture Retrieval-Augmented Generation, ormai utilizzate nella maggioranza delle applicazioni enterprise basate su LLM. Questi sistemi combinano modelli linguistici con meccanismi di ricerca documentale per fornire risposte aggiornate e contestualizzate.
Un altro elemento strategico riguarda fiducia e controllo. I modelli neurali sono notoriamente difficili da governare. Hallucination, bias e comportamenti inattesi rappresentano problemi strutturali. L’aggiunta di componenti esterne, filtri, verificatori automatici e sistemi di validazione consente invece di costruire applicazioni più affidabili, requisito essenziale nei settori regolamentati come sanità, finanza e servizi legali.
Naturalmente, questa evoluzione introduce nuove complessità operative. Progettare un sistema composto significa affrontare problemi di allocazione delle risorse, ottimizzazione end-to-end, monitoraggio delle pipeline e sicurezza. In un’applicazione RAG, ad esempio, quanto budget computazionale dovrebbe essere assegnato al retriever rispetto al modello linguistico? Conviene utilizzare un modello molto potente una sola volta oppure modelli più piccoli eseguiti ripetutamente con strategie di consenso? Sono domande alle quali l’industria sta ancora cercando risposte definitive.
Per affrontare queste sfide stanno emergendo nuovi strumenti software. Framework come LangChain, LlamaIndex e DSPy consentono agli sviluppatori di costruire, orchestrare e ottimizzare pipeline AI sempre più sofisticate. Particolarmente interessante è DSPy, che tenta di portare nei sistemi composti una forma di ottimizzazione end-to-end analoga a quella resa popolare da framework come PyTorch.
La conseguenza strategica è chiara. Il mercato dell’intelligenza artificiale sta entrando nella fase post-modello. I foundation model rimarranno infrastrutture fondamentali, ma diventeranno progressivamente commodity ad alte prestazioni, simili ai processori nel settore dei computer. Il vero valore economico si sposterà verso l’orchestrazione, l’integrazione dei dati, l’ottimizzazione dei workflow e la capacità di costruire sistemi resilienti e affidabili.
Per i CEO e i CTO il messaggio è semplice: investire esclusivamente nel modello più grande disponibile equivale a comprare il motore di una Formula 1 senza progettare l’automobile. Nell’economia dell’AI che sta emergendo, vinceranno coloro che sapranno costruire il sistema, non soltanto addestrare il modello.