Descriviamo grandi modelli linguistici come sofisticati sistemi di completamento del testo, straordinariamente capaci di prevedere la parola successiva ma sostanzialmente privi di una reale percezione del contesto generato dalle proprie azioni. Un nuovo studio pubblicato su arXiv da Asvin G., dell’Institute for Advanced Study di Princeton, e Jack Lindsey di Anthropic mette però in discussione questa interpretazione, proponendo una tesi destinata ad alimentare il dibattito scientifico: dopo il processo di post training, i moderni LLM sembrano sviluppare la capacità di distinguere i testi prodotti autonomamente da quelli generati da altri modelli, modificando di conseguenza il proprio comportamento.
Il lavoro, intitolato From Simulation to Enaction: Post-trained Language Models Recognize and React to their own Generations, non sostiene che i modelli abbiano coscienza di sé, né introduce argomenti filosofici sulla cosiddetta “self-awareness”. Il contributo è molto più tecnico e, proprio per questo, più interessante. Gli autori dimostrano sperimentalmente che i modelli post addestrati producono distribuzioni probabilistiche significativamente diverse quando elaborano un testo scritto da loro stessi rispetto a quando analizzano testi provenienti da altri modelli o dal web.
Il parametro utilizzato è l’entropia della distribuzione di probabilità. Nei modelli linguistici l’entropia misura il grado di incertezza nella previsione del token successivo. Lo studio evidenzia che, quando il modello continua una risposta precedentemente generata da sé stesso, l’entropia diminuisce drasticamente, fino a valori tre o quattro volte inferiori rispetto ai casi nei quali legge testo “off-policy”, cioè non appartenente alla propria generazione. In altre parole, il modello appare molto più sicuro di come proseguire un testo che riconosce implicitamente come proprio.
Il risultato emerge trasversalmente in diverse famiglie di modelli, comprese Llama, Qwen, Gemma, DeepSeek e Yi. Ancora più significativo è il fatto che ogni modello mostra la massima sicurezza esclusivamente sulle proprie risposte e non su quelle degli altri, anche quando il contenuto risulta semanticamente molto simile. Questo comportamento suggerisce l’esistenza di una sorta di “firma statistica” interna che permette al sistema di riconoscere implicitamente la propria produzione linguistica.
Gli autori descrivono questa trasformazione come il passaggio dalla semplice “simulation” alla “enaction”. Durante il pretraining il modello agisce infatti come un simulatore passivo che osserva enormi quantità di testo senza influenzarne il contenuto. Il post training cambia completamente la situazione. Attraverso il supervised fine tuning e le tecniche di reinforcement learning, il modello inizia a ricevere feedback sulle proprie risposte, sviluppando un comportamento orientato agli obiettivi e una rappresentazione più stabile del ruolo di assistente. Secondo gli autori, questa evoluzione modifica il modo in cui il modello interpreta le proprie azioni future.
Uno degli aspetti più affascinanti riguarda la pianificazione delle risposte. Lo studio mostra che i modelli post addestrati sembrano scegliere il tema principale della risposta prima ancora di produrre il primo token. Se durante la generazione viene forzata artificialmente un’introduzione appartenente a un argomento diverso, l’entropia aumenta immediatamente. È come se il modello avesse già costruito un piano interno e percepisse la prefazione imposta come un’interferenza rispetto alle proprie intenzioni iniziali.
Particolarmente interessante è anche l’analisi delle varie fasi del post training. Nei modelli base questo fenomeno praticamente non esiste. Inizia ad apparire dopo il Supervised Fine Tuning, si rafforza con il Direct Preference Optimization e diventa ancora più evidente con le tecniche di reinforcement learning basate su ricompense verificabili. Questo suggerisce che il comportamento non nasce spontaneamente dall’architettura Transformer, ma viene progressivamente costruito attraverso l’addestramento successivo al pretraining.
Gli autori affrontano anche un tema delicato: la differenza tra riconoscimento implicito ed esplicito. Da un lato il modello modifica automaticamente la propria distribuzione di probabilità quando riconosce un testo come proprio. Dall’altro può persino dichiarare verbalmente, se interrogato, che una risposta è stata modificata o precompilata artificialmente. Le due capacità, tuttavia, sembrano utilizzare circuiti interni differenti, indicando che il riconoscimento statistico e quello esplicito non coincidono.
Le implicazioni pratiche sono notevoli. Nei moderni agenti AI, dove il modello interagisce continuamente con strumenti esterni, documenti, database e altri sistemi, distinguere ciò che proviene dalla propria generazione da ciò che arriva dall’esterno potrebbe diventare un elemento fondamentale per aumentare robustezza, affidabilità e sicurezza. Gli stessi ricercatori ipotizzano che questi meccanismi possano contribuire allo sviluppo di sistemi capaci di individuare tentativi di manipolazione basati su prefill malevoli o prompt injection.
Naturalmente il lavoro presenta diversi limiti. Gli esperimenti sono stati condotti prevalentemente su modelli oggi non più allo stato dell’arte e utilizzano scenari relativamente semplici rispetto ai moderni agenti autonomi. Gli stessi autori sottolineano che resta ancora da comprendere il meccanismo con cui il modello costruisce internamente questa distinzione tra testo “proprio” e testo “altrui” e come tale fenomeno evolverà nelle future generazioni di sistemi.
Ciò nonostante, il valore della ricerca è evidente. Per anni il dibattito sull’intelligenza artificiale si è concentrato sulla dimensione delle reti neurali, sulla quantità di dati e sulla potenza di calcolo. Questo studio sposta invece l’attenzione su un fenomeno molto più sottile: la comparsa di rappresentazioni interne che consentono al modello di adattare il proprio comportamento in funzione della provenienza delle informazioni che sta elaborando. Non è coscienza artificiale e non è autoconsapevolezza nel senso umano del termine. È però un tassello importante nella comprensione di come gli LLM evolvano da semplici predittori statistici verso sistemi sempre più capaci di monitorare e organizzare le conseguenze delle proprie azioni, una direzione che potrebbe rivelarsi decisiva nell’era degli agenti autonomi.