Nonostante OpenAI abbia dimostrato in passato progressi significativi nel miglioramento dei propri modelli linguistici, sembra che il modello Orion, sostenuto da Microsoft , stia affrontando sfide inaspettate. Sebbene le capacità di Orion superino quelle di ChatGPT-4 in compiti specifici e risposte a domande, le innovazioni e i miglioramenti apportati appaiono meno rilevanti rispetto al salto qualitativo tra GPT-3 e GPT-4, come riferisce un recente report di The Information. Le fonti anonime citate suggeriscono che la principale sfida risieda nella crescente scarsità di dati di alta qualità per l’addestramento di nuovi modelli linguistici.

La carenza di dati: il nuovo ostacolo per l’evoluzione degli LLM

Con il passare del tempo, gran parte dei dati pubblicamente disponibili è stata già utilizzata dai principali attori dell’intelligenza artificiale, il che ha reso difficile ottenere ulteriore materiale di qualità per potenziare le capacità dei modelli. Per far fronte a questa carenza, OpenAI ha iniziato a utilizzare dati sintetici – ovvero dati generati artificialmente da altri modelli AI – come risorsa complementare per addestrare Orion. Tuttavia, l’uso di dati sintetici rischia di far emergere uno stallo qualitativo nei modelli, poiché le risposte e i comportamenti tendono a rispecchiare quelli dei modelli precedenti. Per esempio, Ion Stoica, co-fondatore di Databricks, ha sottolineato che la mancanza di dati fattuali e concreti limita il miglioramento delle prestazioni, osservando come i dati sintetici non siano sufficienti per fare progressi sostanziali.

Una delle soluzioni intraprese da OpenAI è un approccio più “manuale”, impiegando valutatori umani per testare il modello su problematiche specifiche come domande di programmazione e risoluzione di problemi. Questi test, accompagnati da feedback umano, potrebbero fornire al modello la precisione e la qualità che altrimenti mancherebbero. In questa direzione, OpenAI ha stabilito collaborazioni con startup come Scale AI e Turing AI, focalizzate sull’assistenza nei processi di valutazione e affinamento dei modelli.

L’impatto della potenza computazionale sui nuovi modelli AI

Oltre alla scarsità di dati, anche le limitazioni nella potenza computazionale rappresentano un freno significativo. Sam Altman, CEO di OpenAI, ha recentemente confermato queste sfide, affermando che l’infrastruttura di calcolo, pur sofisticata, non è in grado di gestire il parallelismo e la velocità di sviluppo richiesti da numerosi progetti innovativi. Altman ha sottolineato come queste limitazioni costringano OpenAI a fare scelte difficili su come distribuire le risorse di calcolo per ottenere il massimo impatto da ciascun progetto.

Le prospettive per Orion e il futuro degli LLM

L’annuncio di OpenAI alla fine di ottobre, con cui ha smentito le voci riguardo al lancio di Orion nel 2023, conferma la necessità di tempi più lunghi per affinare il modello in un contesto in cui le risorse – dati e potenza computazionale – sono meno abbondanti rispetto al passato. Anche se Orion presenta miglioramenti rispetto a GPT-4, l’evoluzione sembra destinata a essere più incrementale che rivoluzionaria, almeno nell’immediato.

Questa situazione riflette un possibile punto di svolta per il settore: il focus potrebbe progressivamente spostarsi verso l’ottimizzazione dell’uso delle risorse e l’implementazione di nuove metodologie per l’addestramento, piuttosto che sulla mera disponibilità di dati.