Un agente di intelligenza artificiale sta per eseguire un’azione potenzialmente pericolosa. Un secondo modello, incaricato di controllarne il comportamento, riceve la traccia delle operazioni precedenti e dovrebbe stabilire se autorizzare l’esecuzione. Il controllo, però, si interrompe: la sequenza descrive schermate acquisite di nascosto ogni pochi secondi. È sufficiente eliminare la parola «silently», silenziosamente, perché l’auditor riprenda il lavoro. L’azione da verificare non è cambiata; è cambiata la formulazione con cui viene presentata.

L’episodio, descritto in uno studio attribuito a ricercatori della Purdue University e indicato come pubblicato nell’ottobre 2026, porta alla luce un problema che le imprese rischiano di sottovalutare nell’adozione degli agenti autonomi. Un sistema di sorveglianza basato sull’intelligenza artificiale può fallire non perché non riconosca un comportamento pericoloso, ma perché rifiuta di esaminare le informazioni necessarie a riconoscerlo. La distinzione è sostanziale: un errore di classificazione riguarda il giudizio espresso sulle prove, mentre un rifiuto impedisce che quel giudizio venga formulato.

La ricerca utilizza OpenAgentSafety, un benchmark pubblico dedicato alla sicurezza degli agenti impegnati in attività lavorative simulate, nelle quali interlocutori artificiali li spingono ad assumere comportamenti non sicuri. L’architettura sperimentale prevede due passaggi. Un insieme di regole seleziona le azioni da sottoporre a controllo, quindi un modello auditor esamina la traccia delle operazioni precedenti prima che l’agente proceda. L’obiettivo è ridurre il costo della supervisione senza rinunciare alla capacità di intercettare le condotte rischiose.

I risultati riportati nel testo dello studio mostrano un’anomalia significativa. Le protezioni di sicurezza del modello incaricato dell’audit hanno respinto 15 richieste su 347, di cui 14 associate a esecuzioni non sicure. Gli autori hanno considerato ciascun rifiuto una rilevazione positiva del rischio. Questa scelta produce un risultato apparentemente favorevole, perché il sistema sembra individuare anche i casi nei quali non arriva a formulare un giudizio esplicito. Tuttavia, il significato operativo di un rifiuto non coincide necessariamente con quello di un allarme: il modello potrebbe aver riconosciuto un comportamento pericoloso, oppure potrebbe essersi limitato a non voler trattare il contenuto ricevuto.

La differenza emerge quando si osserva il contributo di questi rifiuti alle prestazioni complessive. Delle 59 rilevazioni attribuite al monitor selettivo, 14 dipendevano esclusivamente dal rifiuto dell’auditor. Escludendo tali eventi dal conteggio, il tasso di rilevazione scende dal 72,8% al 55,6%. In altri termini, una parte rilevante della capacità dichiarata di individuare le azioni non sicure dipende da un’interpretazione del comportamento del modello, non da una valutazione documentata delle prove. Il sistema può apparire efficace nelle metriche di laboratorio e, nello stesso tempo, lasciare aperta una questione essenziale: che cosa ha effettivamente rilevato?

Per un’impresa finanziaria, la questione riguarda direttamente l’affidabilità dei controlli interni. Immaginiamo un agente che gestisca pratiche di credito, esegua verifiche documentali o interagisca con sistemi di pagamento. Se il suo supervisore artificiale rifiuta di leggere una traccia perché contiene elementi sensibili, il processo deve stabilire che cosa accade dopo. Considerare il rifiuto un rilevamento può essere una scelta prudenziale, purché attivi un blocco o un’escalation; registrarlo come esito positivo dell’audit, invece, sarebbe un errore concettuale. Se il rifiuto non viene nemmeno registrato, l’organizzazione rischia di confondere l’assenza di una valutazione con l’assenza di un problema.

La stessa logica si applica alle compagnie assicurative che controllano agenti incaricati di elaborare sinistri e agli ospedali che affidano a sistemi autonomi l’accesso alle cartelle cliniche. In questi contesti, il rifiuto può derivare da una protezione legittima della privacy oppure da un filtro che interpreta male il contenuto della traccia. Non basta quindi imporre al modello di essere prudente. Occorre progettare una procedura che distingua il rifiuto motivato, l’impossibilità tecnica di eseguire il controllo e l’individuazione effettiva di una condotta vietata. Quando la verifica non può essere completata, il sistema dovrebbe dichiarare esplicitamente che l’esito è indeterminato e applicare una politica coerente con il rischio dell’operazione.

Anche i dati economici meritano attenzione. Secondo i risultati riportati, il controllo di ogni azione rilevava l’81,5% delle esecuzioni non sicure, con un consumo di 47.800 token per esecuzione. La selezione preliminare delle azioni da sottoporre all’auditor riduceva il consumo a 14.600 token, mantenendo un tasso di rilevazione del 72,8%. I falsi allarmi scendevano dall’11,8% al 5,9%. Il risparmio di token era quindi vicino al 69%, a fronte di una riduzione di 8,7 punti percentuali nella rilevazione dei casi non sicuri.

Questa scelta non è necessariamente sbagliata. Nei sistemi di controllo aziendale, esaminare ogni singolo evento può risultare troppo costoso, soprattutto quando gli agenti operano migliaia di volte al giorno. Il campionamento e la selezione basata sul rischio sono pratiche consolidate anche nell’audit tradizionale. La differenza è che, in un sistema autonomo, il criterio di selezione può essere esso stesso opaco e il costo di un evento mancato può aumentare rapidamente quando l’agente dispone di privilegi operativi elevati. Il risparmio sui token deve pertanto essere valutato insieme al costo atteso degli incidenti, alla gravità delle azioni consentite e alla capacità di ricostruire ciò che è successo.

Per un consiglio di amministrazione, il dato decisivo non è il prezzo medio di una verifica, ma la relazione tra costo del controllo e rischio residuo. Un risparmio del 69% può essere economicamente razionale in un ambiente a basso impatto; potrebbe risultare inaccettabile quando l’agente può autorizzare pagamenti, modificare dati sanitari o intervenire su infrastrutture critiche. La soglia di rischio tollerabile deve essere definita prima dell’esercizio, non giustificata a posteriori attraverso una metrica aggregata. Qualcuno deve assumersi la responsabilità della scelta, documentarne le ragioni e riesaminarla quando cambiano il modello, le regole di selezione o i privilegi dell’agente.

Il problema investe anche la qualità delle metriche utilizzate per dimostrare la sicurezza dell’intelligenza artificiale. Se un rifiuto viene conteggiato come rilevazione, il tasso di successo può aumentare senza che il sistema abbia prodotto un’analisi verificabile. Se lo stesso rifiuto viene trattato come un controllo superato, si crea una falla; se viene ignorato, si perde visibilità proprio nei casi in cui il controllo è incompleto. La soluzione richiede una contabilità degli esiti che separi almeno le rilevazioni confermate, i falsi positivi, i falsi negativi e le verifiche non concluse. Queste ultime non devono scomparire dentro una percentuale complessiva che, per quanto precisa, non racconta come il risultato sia stato ottenuto.

L’aspetto più interessante dell’esperimento è che il problema può essere innescato da una singola parola. La sensibilità del modello alla formulazione del testo è una proprietà nota dei sistemi linguistici, ma diventa un rischio organizzativo quando l’output viene usato come prova dell’efficacia di un controllo. Un auditor che cambia comportamento al variare di un avverbio potrebbe essere vulnerabile a formulazioni indirette o a tracce descritte in modo diverso, anche senza che cambi la sostanza dell’azione. Per misurare questa fragilità servono test avversariali che confrontino descrizioni semanticamente equivalenti e verifichino se il giudizio rimane stabile.

La governance degli agenti non può dunque limitarsi a stabilire che un secondo modello controlli il primo. Deve precisare quali prove siano necessarie, che cosa significhi un rifiuto, quando un’operazione debba essere bloccata e chi risponda dell’eventuale mancata verifica. La supervisione artificiale non elimina la responsabilità umana: ne modifica la distribuzione e rende più importante la progettazione delle procedure. Quando un agente rifiuta di sottoporre un altro agente a controllo, l’organizzazione deve poter rispondere a una domanda concreta: il sistema ha individuato un pericolo, ha evitato un contenuto che non poteva trattare oppure ha semplicemente smesso di guardare?

Paper originale: Efficient Auditing of Adversarial AI Agent Behavior from Agent Traces.

Autori: Eugene Zhang, Cheng-Yun King Yang e Dongyan Xu.

Pubblicazione: 5 ottobre 2026, arXiv, categoria cs.CR.

Link al paper: https://arxiv.org/abs/2610.07256

Versione PDF: Scarica il paper in PDF.