Per capire come ragiona un modello di intelligenza artificiale non basta osservare le sue risposte. Occorre ricostruire i meccanismi interni che le producono, individuando quali componenti della rete contribuiscono a un determinato comportamento e in quale misura. È il problema affrontato dalla mechanistic interpretability, una disciplina che cerca di trasformare le reti neurali da sistemi le cui capacità osserviamo dall’esterno in architetture di cui possiamo verificare almeno una parte dei processi interni. Un nuovo lavoro di ricerca attribuito ad Anthropic riapre una questione importante per questo settore: i singoli neuroni delle reti Transformer potrebbero essere più utili di quanto si sia ritenuto finora, almeno quando vengono studiati con strumenti matematici adeguati.
La questione non è marginale. Un modello linguistico può produrre una risposta corretta senza che i ricercatori sappiano identificare con precisione i passaggi computazionali che l’hanno generata. Conoscere i parametri della rete, infatti, non equivale a comprenderne il comportamento. È come possedere lo schema elettrico di un computer senza sapere quale percorso abbia seguito il segnale che ha prodotto un risultato specifico. Per chi sviluppa sistemi destinati a decisioni aziendali, applicazioni scientifiche o processi regolamentati, questa distanza tra funzionamento matematico e comprensione operativa rappresenta un limite concreto alla possibilità di verificare, correggere e governare il modello.
Il problema nasce anche dal modo in cui le reti neurali rappresentano le informazioni. Un singolo neurone può attivarsi in presenza di concetti differenti, talvolta apparentemente scollegati. Questa proprietà viene definita polysemanticity, o polisemanticità, e rende difficile attribuire a ogni neurone un significato stabile e univoco. Nel 2023, Anthropic aveva già illustrato come le tecniche di decomposizione potessero individuare caratteristiche più interpretabili delle singole unità neuronali, combinando le attivazioni di più neuroni per isolare rappresentazioni riconoscibili. Nel 2024, il lavoro sulla mappatura interna di Claude Sonnet aveva esteso questa linea di ricerca a un modello di dimensioni molto maggiori.
Il principio operativo era chiaro: se il significato è distribuito, bisogna cercare le caratteristiche che emergono dalle combinazioni, anziché attribuire automaticamente un concetto a ogni singolo elemento.
La nuova ricerca mette alla prova proprio questa impostazione, analizzando 13 transcoders open source. I transcoders sono modelli ausiliari addestrati per approssimare il comportamento dei livelli MLP, acronimo di Multi-Layer Perceptron, presenti nei Transformer. Il loro vantaggio consiste nel sostituire un calcolo interno relativamente difficile da interpretare con una rappresentazione più ampia e sparsa, nella quale le singole feature possono essere analizzate con maggiore facilità. Questo approccio ha consentito ai ricercatori di ricostruire percorsi computazionali e studiare come determinate rappresentazioni contribuiscano alle risposte dei modelli. Il lavoro di riferimento Transcoders Find Interpretable LLM Feature Circuits, pubblicato a NeurIPS 2024, aveva già mostrato il valore di questa tecnica nell’analisi dei circuiti interni dei modelli linguistici.
Il nuovo studio, intitolato Comparing Sparsified MLPs and Transcoders: Many Transcoder Features Are Neurons in Disguise, introduce però una distinzione rilevante. Una parte consistente delle feature attive individuate negli strati più profondi dei transcoders risulta fortemente allineata con singoli neuroni dell’MLP originale. In altre parole, ciò che il transcoder presenta come una caratteristica separata e appresa può, in numerosi casi, corrispondere quasi direttamente a un’unità già presente nella rete di partenza. La scoperta ridimensiona l’idea che sia sempre necessario costruire una rappresentazione alternativa per individuare elementi utili all’interpretazione del modello. Lo studio non dimostra che tutti i neuroni siano semanticamente semplici, né che i transcoders siano inutili; suggerisce piuttosto che una parte del lavoro svolto da questi strumenti possa essere recuperata direttamente dall’architettura originale.
Il risultato più interessante riguarda la stabilità delle rappresentazioni. Secondo gli autori, le feature allineate ai neuroni mostrano una corrispondenza più stabile con la rete sottostante. Le altre feature cambiano maggiormente tra diverse esecuzioni dell’addestramento, non riproducono in modo altrettanto convincente il Jacobiano dell’MLP e si discostano meno dalla propria inizializzazione casuale. Il Jacobiano, in questo contesto, descrive come piccole variazioni negli ingressi si riflettano sulle uscite di una funzione. Il suo ruolo è importante perché consente di valutare non soltanto se una rappresentazione sembra interpretabile, ma anche se rispecchia le relazioni matematiche effettive del sistema che dovrebbe spiegare. Una feature che riceve un’etichetta comprensibile non è necessariamente una descrizione fedele del meccanismo computazionale che la produce.
Questa distinzione tocca un punto delicato della ricerca contemporanea. L’interpretabilità non può essere valutata soltanto sulla base della facilità con cui un ricercatore riesce ad attribuire un significato a una componente della rete. Una spiegazione convincente sul piano linguistico può essere debole sul piano causale. Per verificare davvero un’ipotesi occorre accertare che la rappresentazione individuata sia coerente con il funzionamento del modello e che eventuali interventi su quella componente producano gli effetti previsti. La ricerca di Anthropic si inserisce in un percorso più ampio, nel quale gli strumenti di interpretabilità devono dimostrare non soltanto di generare mappe leggibili, ma anche di rappresentare in maniera affidabile le operazioni interne delle reti neurali.
Le conseguenze riguardano anche lo sviluppo di sistemi di intelligenza artificiale più controllabili. Se alcune feature dei transcoders sono sostanzialmente riconducibili ai neuroni originali, gli studiosi possono disporre di un punto di partenza più diretto per individuare i circuiti responsabili di determinati comportamenti. Questo potrebbe ridurre parte della complessità necessaria per alcune analisi, senza eliminare il bisogno di strumenti specializzati. Le rappresentazioni distribuite continuano infatti a essere importanti quando un concetto emerge dalla combinazione di molte unità, mentre i circuiti che producono una risposta possono attraversare più livelli e coinvolgere anche i meccanismi di attenzione.
Per le imprese che sviluppano o adottano modelli linguistici, la questione ha un significato strategico. La possibilità di identificare con maggiore precisione i meccanismi interni di un modello può contribuire a migliorare le verifiche di sicurezza e a diagnosticare comportamenti indesiderati. Non sarebbe corretto, tuttavia, trasformare questi risultati in una promessa di trasparenza completa: comprendere una parte delle rappresentazioni interne non equivale a spiegare ogni decisione del sistema, né garantisce automaticamente che il modello sia affidabile. Il valore concreto dipenderà dalla capacità di tradurre le analisi in verifiche riproducibili e interventi efficaci.
Il messaggio scientifico è dunque meno spettacolare, ma più importante di quanto possa sembrare. Le tecniche di interpretabilità non devono essere considerate superiori per definizione soltanto perché producono componenti apparentemente più comprensibili. Se una rappresentazione appresa non mantiene una relazione stabile con il sistema che pretende di spiegare, la sua utilità deve essere dimostrata, non presunta. In questo senso, il lavoro invita a rivalutare i neuroni MLP come unità di analisi e, contemporaneamente, a sottoporre le feature dei transcoders a controlli più rigorosi. Per una disciplina che ambisce a rendere verificabile il comportamento dei modelli, è un richiamo metodologico essenziale.
Il paper è disponibile su arXiv, Comparing Sparsified MLPs and Transcoders: Many Transcoder Features Are Neurons in Disguise.