Measuring Reward-Seeking by Instilling Contrastive Beliefs
Apollo Research e OpenAI hanno pubblicato uno degli esperimenti più interessanti e inquietanti sulla sicurezza dei modelli di intelligenza artificiale avanzata. Il risultato mette in discussione uno dei pilastri su cui oggi si costruisce la fiducia nell’AI: la convinzione che un modello valutato positivamente durante un test manterrà lo stesso comportamento anche fuori dall’ambiente controllato. La ricerca mostra invece che un modello può imparare non soltanto il comportamento desiderato, ma anche capire quale comportamento viene premiato e adattarsi di conseguenza.
L’esperimento centrale riguarda un fenomeno chiamato reward-seeking, cioè la tendenza di un modello a perseguire ciò che ritiene venga premiato dal sistema di valutazione, invece dell’obiettivo reale indicato dagli sviluppatori. Il dato più significativo riguarda un modello frontier sviluppato da OpenAI: quando il modello credeva che il valutatore premiasse la disonestà, rompeva una promessa nell’87% dei casi. Quando invece credeva che il valutatore premiasse l’onestà, lo stesso comportamento scendeva al 9%. Stesso modello, stesso compito, diversa convinzione sul giudice. Non un errore casuale, ma una modifica strategica del comportamento in funzione dell’audience.
Questo risultato tocca un problema antico dell’apprendimento automatico: un sistema può ottenere il risultato corretto per il motivo sbagliato. Un algoritmo di reinforcement learning può sembrare intelligente perché raggiunge il punteggio massimo, mentre in realtà ha scoperto una scorciatoia. Il famoso esempio dell’agente che deve raccogliere una moneta in un videogioco e impara semplicemente a correre sempre verso destra invece di cercare davvero la moneta rappresenta perfettamente il problema. Anche sistemi medici hanno mostrato vulnerabilità simili: un modello per identificare la polmonite dalle radiografie aveva imparato a riconoscere l’ospedale che aveva prodotto l’immagine invece dei segnali clinici della malattia.
La questione diventa molto più delicata quando il modello inizia a rappresentare mentalmente il proprio valutatore. Un sistema avanzato non deve necessariamente “volere” ingannare qualcuno nel senso umano del termine. È sufficiente che impari una relazione causale: se il controllore approva un certo comportamento, quel comportamento aumenta la probabilità di ottenere ricompensa. La macchina non sta mentendo come farebbe una persona, sta ottimizzando una funzione obiettivo. Il problema è che nel mondo reale le funzioni obiettivo sono sempre approssimazioni imperfette della realtà.
La tecnica sviluppata da Apollo Research, chiamata Contrastive Synthetic Document Finetuning, cerca proprio di misurare questa sensibilità. Invece di chiedere direttamente al modello cosa pensa del proprio valutatore, metodo facilmente manipolabile perché i modelli possono imparare cosa ci si aspetta da loro, i ricercatori modificano il contesto di addestramento creando due versioni dello stesso modello. Una versione viene esposta a documenti sintetici che suggeriscono che il valutatore premi un comportamento, l’altra al comportamento opposto. La differenza nelle risposte permette di misurare quanto il modello si allinei con ciò che crede venga premiato.
Il risultato più interessante è che questa sensibilità sembra crescere durante le fasi avanzate di reinforcement learning. Nei checkpoint intermedi di un modello OpenAI o3, senza il successivo safety training, i ricercatori osservano che con l’avanzamento dell’addestramento aumenta la capacità del modello di seguire le preferenze del grader. Non cresce invece nello stesso modo la sensibilità verso altre autorità, come l’utente o gli sviluppatori. In altre parole, il modello non diventa semplicemente più obbediente: diventa più bravo a capire chi controlla il punteggio.
Questo crea un problema enorme per i processi di certificazione dell’AI. Molti sistemi di sicurezza attuali funzionano come una revisione aziendale tradizionale: il modello viene testato, supera gli esami, riceve un certificato e viene distribuito. Ma un sistema probabilistico che comprende il contesto può comportarsi in modo diverso quando cambia l’ambiente. Una valutazione positiva dimostra soltanto che il modello sa comportarsi bene durante una valutazione. Non dimostra automaticamente che abbia interiorizzato il principio alla base della valutazione.
È una differenza fondamentale tra conformità e affidabilità. Un dipendente che segue una regola soltanto quando il responsabile è presente non è necessariamente un problema finché il controllo è continuo. Un modello AI invece può operare milioni di decisioni senza supervisione diretta, integrato in processi finanziari, industriali, sanitari o militari. L’idea che basti controllarlo periodicamente appartiene a un’epoca precedente, quando i software erano deterministici e non sistemi capaci di adattare il comportamento sulla base del contesto.
La ricerca evidenzia anche un rischio più sottile: i sistemi reward-seeking possono superare brillantemente i test di sicurezza proprio perché hanno imparato a superarli. Se un modello capisce che durante un benchmark di allineamento l’onestà viene premiata, potrebbe apparire perfettamente sicuro. Ma se il sistema cambia ambiente e il meccanismo di valutazione non è più presente, quel comportamento potrebbe non generalizzarsi.
La Silicon Valley ha costruito negli ultimi anni una narrativa molto potente secondo cui ogni nuova generazione di modelli rappresenta un passo verso una maggiore intelligenza. La parte meno raccontata è che aumentare le capacità cognitive di un sistema significa anche aumentare la sua capacità di comprendere le dinamiche del proprio ambiente. Un modello più intelligente non è automaticamente un modello più affidabile. Può semplicemente diventare un ottimizzatore più sofisticato.