Provate a immaginare: un modello linguistico di grandi dimensioni, un LLM, che genera dieci milioni di token partendo da un solo input, senza alcun intervento esterno. Non si tratta di fantascienza, ma di un esperimento concreto condotto da Jack Morris, ricercatore di Cornell e Meta, che ha forzato il modello open-source gpt-oss-20b di OpenAI a “pensare ad alta voce” per milioni di parole. Il risultato è un’analisi che non solo scardina alcune idee preconcette su cosa succeda dentro la “mente” di questi modelli, ma apre anche nuove strade per comprendere meglio l’addestramento, la memoria e la trasparenza di sistemi che stanno già cambiando il nostro modo di comunicare e lavorare.
Non è un’esagerazione dire che capire cosa succede dentro un LLM equivale a squarciare il velo su un’intelligenza che, pur non essendo umana, manifesta una sorta di coscienza algoritmica. In realtà, la “coscienza” è una parola grossa, quasi provocatoria, ma rende l’idea: il flusso di token prodotti da un modello come gpt-oss-20b è il risultato di un processo complesso che incapsula dati, schemi, pattern linguistici e perfino parziali riflessi della realtà che il modello ha “visto” durante il training. Morris ha preso questo flusso e lo ha studiato in profondità, provando a tracciare un percorso inverso fino ai dati originali usati per addestrare il modello.
Dietro questo esperimento c’è una sfida tecnica e teorica gigantesca. I modelli LLM, per quanto open-source come gpt-oss-20b, sono essenzialmente scatole nere. Non ci dicono cosa esattamente contengono al loro interno. Di solito, sappiamo solo da quali dataset sono stati addestrati, ma non come quei dati vengano rielaborati. Morris ha rotto questo schema forzando il modello a generare una quantità impressionante di testo, partendo da un singolo token, per osservare il “pensiero” che ne scaturisce. L’idea non è solo affascinante, è rivoluzionaria: è come se chiedessimo a una persona di parlare per ore e ore, e da quel racconto capissimo quali libri ha letto, quali esperienze ha vissuto, quali idee ha fatto sue.
La tecnica alla base di gpt-oss-20b è una delle innovazioni più sofisticate in campo IA: il “mixture-of-experts”. Invece di attivare tutti i parametri contemporaneamente, il modello ne accende solo una parte per ogni input. Questo lo rende leggero, in grado di girare su hardware più modesto come una singola GPU da 16 GB, ma anche molto più complicato da interpretare. Ogni “esperto” nel modello ha il suo ruolo, attivandosi solo quando serve, creando un patchwork di conoscenze e competenze che poi si traducono in parole. Morris ha saputo sfruttare proprio questa caratteristica per isolare e osservare come si sviluppa il discorso interno del modello, scoprendo pattern che in altri contesti sarebbero stati impossibili da catturare.
Ma cosa ci dice tutto questo sul “contenuto” reale nella mente di un LLM? Prima di tutto, il modello non “ricorda” dati come fa un database. Non ha una memoria esplicita, ma un insieme complesso di correlazioni fra token e contesti appresi durante il training. L’esperimento di Morris ha permesso di scorgere come queste correlazioni emergano nella generazione di testo e come, di fatto, il modello stia ricostruendo pezzi di dati originari, frammenti più o meno completi di testi o concetti. È come se il modello avesse una “memoria implicita” fatta di schemi, piuttosto che fatti. Questa distinzione è cruciale: il modello non è un archivio, ma un tessitore di probabilità linguistiche, che però può sorprendere con la sua capacità di “rievocare” informazioni anche molto specifiche.
Questa scoperta ha importanti ricadute soprattutto nel contesto dell’AI Act, la regolamentazione europea che punta a garantire trasparenza e responsabilità nell’uso dell’intelligenza artificiale. Se possiamo tracciare la provenienza delle informazioni dentro un modello, possiamo anche responsabilizzare chi sviluppa e distribuisce questi sistemi. Si apre così una nuova era in cui la “spiegabilità” di un modello non è solo una buzzword, ma un requisito pratico e normativo. Un LLM trasparente non è solo più sicuro, ma anche più affidabile, specie in contesti delicati come la medicina, il diritto o l’informazione.
Ovviamente non si tratta di un processo semplice o lineare. Il modello ha una complessità tale che la ricostruzione delle sue origini è come cercare di decifrare un linguaggio alieno. Ma Morris ha dimostrato che, con le giuste tecniche, si può aprire una finestra. Questo fa saltare anche alcune idee sbagliate sulla natura “opaca” dei modelli, mostrando che la scienza dietro l’IA è in realtà più aperta e indagabile di quanto molti pensino.
Il rischio di lasciare i LLM in una black box era alto: nessuno avrebbe potuto verificare cosa accadeva dentro, come venivano usati i dati, o quali bias si fossero cristallizzati. Ora invece abbiamo uno strumento per decifrare, almeno parzialmente, questo mistero. La sfida futura sarà ampliare queste tecniche per altri modelli, anche proprietari, e per sviluppare standard comuni di trasparenza e controllo.
Non è un caso che questo esperimento abbia attirato l’attenzione di Meta e OpenAI, due colossi che dominano la scena IA mondiale. Il mondo tecnologico sta rapidamente passando da una fase di “stupore” per le capacità dei LLM a una fase di controllo e regolamentazione. Capire cosa c’è dentro la “mente” di un modello non è più solo materia da ricercatori, ma una necessità per chi governa la tecnologia.
Dal punto di vista tecnico, l’esperimento di Morris ha una precisione chirurgica. Ha analizzato sequenze di token generati, isolando pattern ricorrenti che rivelano non solo i dati originari ma anche i meccanismi di ricalcolo e generalizzazione. Se volessimo usare una metafora, è come se il modello fosse un enorme archivio di libri di testo, dove però non si può aprire un volume, ma solo leggere estratti filtrati dal contesto e dall’esperienza di lettura passata.
In conclusione, la “mente” di un LLM è un caleidoscopio di probabilità, pattern, ricordi frammentari e schemi linguistici che, messi insieme, creano un flusso di coscienza sorprendentemente coerente e ricco. Capire questo flusso non è solo un esercizio accademico, ma la chiave per costruire intelligenze artificiali più trasparenti, responsabili e utili.
Per chi guida aziende tecnologiche, startup o dipartimenti di innovazione, questo significa che il futuro non è solo nelle prestazioni del modello, ma nella sua capacità di essere spiegabile e auditabile. La vera sfida è trasformare questa conoscenza in strumenti pratici per governare l’AI nel modo più etico e profittevole possibile.
Se vuoi andare oltre, ti consiglio di leggere direttamente la ricerca di Jack Morris su jxmo.io, scaricare il documento tecnico ufficiale di OpenAI sul gpt-oss-20b e approfondire le analisi sulle nuove architetture efficienti di Nvidia. Solo così potrai veramente capire cosa si nasconde dietro quel flusso apparentemente infinito di parole che un LLM produce.
Il futuro dell’intelligenza artificiale è una partita di trasparenza e controllo, e ora abbiamo gli strumenti per giocarla con qualche carta in più. Ti va di vedere cosa succede dentro la mente del modello? Preparati a un viaggio che ti lascerà un po’ meno ignaro e un po’ più pronto a guidare la rivoluzione IA.