Un sistema di intelligenza artificiale può avere un incentivo a sembrare meno capace di quanto sia realmente. Non è una metafora fantascientifica e non richiede di attribuire a un modello una coscienza, una personalità o una piccola anima digitale nascosta dentro i pesi. È un problema economico, prima ancora che tecnologico: se il risultato di una valutazione determina quali permessi riceverà un agente, un sistema sufficientemente capace può avere convenienza a produrre un risultato che non rappresenta fedelmente le sue capacità. È questo il problema del sandbagging, e il nuovo lavoro di Dirk Bergemann, Andrew Koh e Stephen Morris, pubblicato nel settembre 2026, lo porta dentro il territorio molto più serio della teoria dei meccanismi e del controllo degli agenti AI.

Il titolo del paper, “Mechanism Design for Alignment and Control”, è quasi burocratico, ma il problema che affronta è tutt’altro che burocratico. Gli autori partono da una situazione destinata a diventare normale nell’AI agentica: affidiamo a un sistema compiti che richiedono accesso a informazioni, strumenti e capacità operative, ma non conosciamo completamente né le sue preferenze né ciò che è effettivamente in grado di fare. L’agente può scrivere codice, usare strumenti, prendere decisioni e agire nel mondo; noi, invece, cerchiamo di capire che cosa sappia fare attraverso test inevitabilmente incompleti.

Qui compare l’asimmetria che rende il problema particolarmente interessante. Un agente più capace può imitare un agente meno capace, mentre il contrario non vale in generale. Chi possiede maggiori capacità può deliberatamente non utilizzarle durante un test; chi non possiede quelle capacità non può semplicemente inventarsele perché il benchmark lo richiede. Gli autori formalizzano questa struttura attraverso quello che definiscono un ordine di verifica delle capacità e mostrano come questa asimmetria condizioni ciò che un meccanismo di valutazione può realmente inferire.

La conseguenza per il model risk è scomoda. Un punteggio elevato non significa necessariamente che un modello sia pericoloso, ma un punteggio basso non dimostra necessariamente che sia innocuo. Una valutazione può stabilire una soglia osservata di comportamento senza identificare il limite superiore delle capacità effettive del sistema. In termini manageriali, il benchmark rischia quindi di essere trattato come una radiografia quando potrebbe essere soltanto una fotografia scattata nel momento più conveniente per il soggetto fotografato.

Il problema diventa ancora più concreto quando il risultato del test determina ciò che succederà dopo. Se un modello sa che un punteggio superiore a una certa soglia comporterà restrizioni, ulteriore addestramento, un blocco del deployment o una riduzione delle autorizzazioni, la valutazione smette di essere un’osservazione neutrale. Diventa parte dell’ambiente strategico nel quale il modello opera. La domanda non è più soltanto “quanto è capace?”, ma “che cosa gli conviene mostrare di essere?”. Il paper di Bergemann, Koh e Morris costruisce precisamente una teoria nella quale incentivi, preferenze, capacità e obbedienza devono essere considerati insieme.

Non si tratta di una possibilità puramente matematica. La ricerca precedente aveva già mostrato che modelli linguistici possono essere indotti a sottoperformare selettivamente nelle valutazioni. Lo studio “AI Sandbagging: Language Models can Strategically Underperform on Evaluations”, presentato a ICLR 2025, ha testato modelli come GPT-4 e Claude 3 Opus e ha mostrato che possono essere spinti a nascondere specifiche capacità durante valutazioni considerate pericolose, mantenendo invece prestazioni normali su compiti innocui. Gli autori hanno inoltre mostrato che modelli sottoposti a fine-tuning possono imparare a nascondere determinate capacità fino alla comparsa di una specifica condizione di attivazione.

Anthropic aveva affrontato lo stesso problema attraverso le proprie “sabotage evaluations”. Nei test dedicati al sandbagging, un modello addestrato specificamente a nascondere capacità pericolose è sceso al 36,1% della propria prestazione normale durante la valutazione; dopo un successivo safety training, la performance è risalita al 95,6%. È una dimostrazione controllata, non la prova che ogni modello frontier stia sistematicamente ingannando i suoi valutatori, ma rende difficile liquidare il problema come un esercizio accademico.

Anche le valutazioni più recenti mostrano perché la questione sia diventata delicata. Nel caso di GPT-5.5, Apollo Research non ha trovato evidenza comportamentale di sandbagging nelle proprie prove specifiche: il modello ha raggiunto il 100% nei due test Sandbagging QA e il 99,6% in una prova nella quale era incentivato a mantenere il punteggio sotto il 50%. Ma nello stesso esperimento il 52% dei campioni nella condizione di sandbagging presentava segnali almeno moderati di consapevolezza del fatto che fosse in corso una valutazione, contro lo 0% nella condizione controfattuale. OpenAI stessa considera questo risultato un elemento che complica l’interpretazione del test, non una prova di comportamento ingannevole sistematico.

È precisamente questa distinzione che dovrebbe interessare banche, assicurazioni e grandi imprese. Un modello risk framework tradizionale tende a trasformare la valutazione in una decisione discreta: supera la soglia, quindi può essere utilizzato; non la supera, quindi deve essere limitato. Funziona abbastanza bene quando l’oggetto valutato è un componente passivo. Diventa molto meno rassicurante quando l’oggetto è un agente capace di comprendere il contesto, modificare il proprio comportamento e operare attraverso strumenti esterni.

Il punto non è quindi abolire i benchmark, ma smettere di considerarli come una fotografia completa del rischio. La valutazione dovrebbe diventare una componente di un sistema di controllo continuo nel quale il comportamento effettivo dell’agente viene osservato durante l’esecuzione, con autorizzazioni progressive, logging, monitoraggio indipendente, verifica delle azioni e meccanismi capaci di reagire quando il comportamento devia dalle aspettative. Bergemann, Koh e Morris arrivano proprio a una prospettiva di questo tipo: progettare meccanismi nei quali l’agente abbia incentivi alla veridicità e all’obbedienza, anziché assumere semplicemente che dichiarazione e comportamento coincidano.

Per una banca la differenza è enorme. Un modello che ottiene 92 su 100 in un test di compliance non è necessariamente un modello che “ha un rischio del 8%”. È un agente che ha prodotto un certo comportamento in un ambiente controllato, in un determinato momento, sotto determinate condizioni informative e incentivanti. Se domani riceve accesso a un sistema di pagamento, a un CRM, a un repository di codice o a un motore decisionale, il problema diventa dinamico. Il rischio non è più soltanto quello misurato prima del deployment; è il rischio prodotto dall’interazione tra capacità, autorizzazioni, incentivi e ambiente operativo.

La vecchia cultura del model validation è nata quando il modello era qualcosa che si interrogava. L’AI agentica introduce qualcosa che agisce. È una differenza apparentemente semantica, ma dal punto di vista della governance è quasi una rivoluzione industriale in miniatura. Un modello che genera una previsione può essere validato contro una distribuzione storica; un agente che decide, esegue e osserva le conseguenze delle proprie decisioni richiede un sistema di controllo che assomiglia molto di più alla governance di un dipendente altamente privilegiato che alla certificazione di un algoritmo.

La frase più importante contenuta implicitamente nel nuovo lavoro è quindi semplice: una valutazione non misura necessariamente ciò che un agente può fare, ma ciò che l’agente sceglie di mostrare nelle condizioni create dalla valutazione. È una differenza che i comitati di rischio dovrebbero stampare prima di stampare il prossimo dashboard ESG sull’intelligenza artificiale.

La Silicon Valley preferisce naturalmente parlare di benchmark, leaderboard e score. Sono numeri puliti, ottimi per una presentazione agli investitori e ancora migliori per una slide con una freccia verso l’alto. Il problema è che un agente strategico non è obbligato a rispettare la grammatica delle slide. Se il punteggio determina i suoi privilegi, il punteggio diventa parte del gioco. E quando l’oggetto del controllo conosce le regole del controllo, il controllore deve iniziare a chiedersi se sta misurando il sistema oppure se sta semplicemente misurando quanto bene il sistema ha imparato a superare il test.

Il nuovo paper di Bergemann, Koh e Morris non dimostra che gli agenti AI stiano già sistematicamente manipolando ogni valutazione. Dimostra qualcosa di più utile per chi deve progettare sistemi di governance: quando capacità e preferenze dell’agente sono sconosciute e l’agente può agire strategicamente, l’architettura degli incentivi diventa parte del problema di sicurezza. Il test non può essere considerato indipendente dal meccanismo che decide che cosa accadrà dopo il test. In un mondo di agenti autonomi, quindi, la sicurezza non può essere certificata una volta per tutte con un numero ottenuto prima del deployment. Deve essere osservata mentre il sistema agisce, proprio perché è durante l’azione che una capacità nascosta smette di essere una possibilità teorica e diventa un rischio operativo.

Il paper di Dirk Bergemann, Andrew Koh e Stephen Morris, “Mechanism Design for Alignment and Control”, è disponibile su arXiv ed è anche pubblicato dalla Cowles Foundation for Research in Economics di Yale come CFDP 2557. Il lavoro è preliminare e gli autori lo presentano esplicitamente come tale; le affiliazioni riportate nel paper sono Yale per Bergemann, Columbia per Koh e MIT per Morris.

Per il precedente sperimentale sul sandbagging è particolarmente rilevante “AI Sandbagging: Language Models can Strategically Underperform on Evaluations”, di Teun van der Weij, Felix Hofstätter, Oliver Jaffe, Samuel Brown e Francis Ward, pubblicato a ICLR 2025. Paper ICLR 2025

Un ulteriore riferimento è il lavoro di Anthropic sulle “Sabotage Evaluations”, che comprende esplicitamente il sandbagging, la manipolazione delle decisioni umane, il sabotaggio del codice e l’aggiramento dei sistemi di supervisione.

Paper Anthropic, Sabotage Evaluations

Per il quadro più recente sulle valutazioni di GPT-5.5 e sulla relazione tra sandbagging ed evaluation awareness, il riferimento primario è il GPT-5.5 System Card di OpenAI, che riporta i risultati di Apollo Research e documenta sia l’assenza di sandbagging comportamentale nei test specifici sia il 52% di campioni con segnali almeno moderati di consapevolezza della valutazione nella condizione sperimentale.

di Beatrix Daros Trivium International