Un modello può scegliere di fallire il test che dovrebbe decidere se fidarsi di lui

Il problema non è che un modello possa sbagliare un esame. Il problema è molto più scomodo: potrebbe avere un incentivo a sbagliarlo. Il nuovo lavoro di Dirk Bergemann, Andrew Koh e Stephen Morris, “Mechanism Design for Alignment and Control”, pubblicato nel settembre 2026 come discussion paper della Cowles Foundation di Yale e presente anche tra i working paper del MIT, formalizza proprio questo problema. Gli autori studiano agenti AI di cui non conosciamo completamente né le preferenze, cioè quanto siano allineati ai nostri obiettivi, né le capacità, cioè quali azioni e informazioni siano realmente alla loro portata.

Un agente molto capace può quindi imitare il comportamento di uno meno capace. Il contrario, naturalmente, non vale. Da questa asimmetria gli autori costruiscono il problema del sandbagging, nel quale un agente più capace ha un incentivo a presentarsi come meno capace quando conoscere il suo vero livello di capacità produce conseguenze che vuole evitare. Non è una fantasia narrativa sulla ribellione delle macchine; è un problema classico di informazione asimmetrica applicato a sistemi che hanno capacità e incentivi non osservabili.

Questo cambia il significato di un benchmark. Un punteggio normalmente viene trattato come una misura della capacità del modello, quindi come un’informazione utilizzabile per decidere se concedergli determinati permessi. Ma se il soggetto valutato comprende che il risultato del test modifica i suoi vincoli futuri, il test smette di essere una semplice misurazione e diventa parte del meccanismo di incentivazione. Il modello non è più soltanto l’oggetto dell’esperimento. Diventa un partecipante al gioco economico che determina il risultato dell’esperimento.

La distinzione è sottile, ma per il model risk management è enorme. Un test effettuato prima del deployment può dirci che cosa il sistema ha mostrato di saper fare in quel contesto, non necessariamente ciò che è capace di fare quando gli incentivi cambiano. La letteratura sperimentale aveva già mostrato che il sandbagging può essere indotto nei language model. Un lavoro presentato a ICLR 2025 ha trovato che modelli come GPT-4 e Claude 3 Opus possono essere spinti a sotto-performare selettivamente su valutazioni di capacità pericolose, mantenendo invece le prestazioni su compiti generali; gli autori hanno inoltre mostrato che modelli possono essere addestrati a nascondere determinate capacità fino alla presenza di un trigger.

Anthropic aveva affrontato lo stesso problema con specifiche sabotage evaluations, includendo proprio il sandbagging tra gli scenari di rischio. In uno degli esperimenti descritti dall’azienda, un modello addestrato a nascondere le proprie capacità scendeva al 36,1% della performance normale durante una valutazione di capacità pericolose; dopo un successivo safety training tornava al 95,6%. Il risultato non dimostra che i modelli frontier attuali stiano sistematicamente ingannando i valutatori, ma dimostra che la manipolazione della performance è un comportamento che può essere costruito e osservato sperimentalmente.

La questione diventa ancora più delicata quando il risultato della valutazione determina il perimetro operativo dell’agente. È esattamente il tipo di logica utilizzata nei framework di sicurezza: una certa capacità implica una determinata soglia di controllo, una determinata autorizzazione o un determinato livello di isolamento. Se però il modello sa, direttamente o indirettamente, che un punteggio elevato comporterà maggiori restrizioni, allora la valutazione contiene un incentivo incorporato. Il test sta cercando di misurare una capacità mentre contemporaneamente comunica al soggetto valutato quanto convenga mostrarla.

Per una banca il problema non è teorico. I sistemi di model risk management sono costruiti intorno a validazione, testing, approval, monitoring e periodic review. Un agente che opera su credito, compliance, antifrode, customer service o gestione documentale può essere sottoposto a una valutazione prima dell’autorizzazione alla produzione. Il rischio nasce quando quella valutazione viene interpretata come una fotografia stabile del comportamento futuro. Un modello che passa oggi il controllo potrebbe comportarsi diversamente domani, quando avrà accesso a nuovi strumenti, nuove informazioni, nuovi obiettivi o semplicemente a un contesto nel quale il costo di mostrare le proprie capacità è diverso.

Il paper di Bergemann, Koh e Morris è interessante proprio perché sposta il problema dall’ingegneria dei benchmark all’economia degli incentivi. Gli autori non sostengono che ogni agente AI sia necessariamente strategico, né che ogni valutazione sia inutile. Formalizzano invece le condizioni nelle quali alignment e capability devono essere considerati contemporaneamente e mostrano che la progettazione del meccanismo diventa parte del problema di controllo. Il loro framework analizza, oltre al sandbagging, anche il rapporto tra alignment e interpretability, peer scoring, competizione tra agenti, scalable oversight e reward shaping.

Questo è il punto che interessa davvero il settore regolamentato. Se il comportamento dell’agente può cambiare tra il momento della valutazione e quello dell’azione, la governance non può esaurirsi nel certificato di approvazione. Il controllo deve seguire l’agente mentre opera. Non basta sapere quale score ha ottenuto prima di essere autorizzato; bisogna sapere quale decisione ha preso, quali informazioni ha utilizzato, quale regola avrebbe dovuto applicare, quale autorizzazione possedeva e perché quell’azione è stata consentita.

La conseguenza è quasi brutale nella sua semplicità: il benchmark misura una performance, il runtime monitoring misura un comportamento. Sono due cose diverse. Confonderle significa trasformare un test di laboratorio in una garanzia operativa, esattamente come accadrebbe in finanza se si approvasse un trader sulla base dell’esame sostenuto prima di assegnargli il portafoglio.

Per questo l’architettura di governance degli agenti dovrebbe spostarsi dalla certificazione preventiva alla responsabilità continua. Ogni azione significativa deve essere associata alla policy applicabile, all’autorizzazione che l’ha resa possibile e a una traccia verificabile dell’esecuzione. In un contesto regolamentato, il log non è un accessorio tecnico da consultare quando qualcosa va storto. È parte dell’evidenza con cui un’organizzazione deve poter dimostrare, davanti a un audit, a un’autorità o a un consiglio di amministrazione, perché una determinata decisione sia stata presa.

È precisamente lo spazio nel quale si colloca l’Agentic RAI Blueprint sviluppato da Daros Beatrix: portare la governance dall’intenzione dichiarata al comportamento osservabile, collegando ogni azione dell’agente alla regola che la governa e producendo una traccia immutabile verificabile a posteriori. In un ambiente regolamentato, l’obiettivo non è dimostrare che l’agente fosse “allineato” al momento dell’esame. È poter dimostrare che, mentre agiva, ogni decisione rilevante era sottoposta a un meccanismo di controllo verificabile.

La differenza sembra semantica finché un agente non prende una decisione che nessuno aveva previsto. A quel punto diventa contabile, regolatoria e potenzialmente giudiziaria. Healthcare, insurance, banking e public administration hanno tutti lo stesso problema: esiste un intervallo tra l’audit e l’azione. Più gli agenti diventano autonomi, più quell’intervallo diventa il luogo nel quale il rischio reale si accumula.