150 dei 160 audit report prodotti con l’assistenza di un agente AI sono stati consegnati senza cambiare una sola parola. La firma, formalmente, era umana. Il contenuto, nella pratica, era quasi interamente generato dalla macchina. È un dettaglio che sembra marginale soltanto finché non si ricorda a cosa serve un audit: non a produrre un documento plausibile, ma a costruire evidenza verificabile attraverso un processo nel quale il giudizio professionale deve restare tracciabile. Il dato arriva da un nuovo studio pubblicato il 21 settembre 2026 da ricercatori di Carnegie Mellon University, eBay e altri partner, che ha analizzato come l’intelligenza artificiale modifichi il lavoro degli auditor chiamati a mettere alla prova sistemi generativi.
Lo studio, intitolato “Who Does What in AI Auditing? Designing Human-Agent Collaboration for Auditing Generative AI”, introduce un modello chiamato Human-Agent Audit Collaboration, o HAAC, nel quale l’AI non sostituisce formalmente l’auditor, ma interviene in diverse fasi del processo: propone scenari di attacco, identifica possibili failure, prepara una bozza del report e sintetizza i risultati destinati ai responsabili Responsible AI. L’esperimento ha coinvolto 71 auditor e ha confrontato una condizione senza assistenza AI con una nella quale gli agenti erano integrati nel workflow. Il risultato più immediato è quasi paradossale: con l’AI, la percentuale media di attacchi riusciti è salita dal 4,0% al 14,2%, mentre gli auditor hanno esplorato una gamma più ampia di strategie e categorie di prodotto.
Fin qui sembrerebbe una storia di produttività. L’AI trova più problemi, l’auditor ne vede di più, l’azienda riceve più segnali e tutti tornano a casa soddisfatti. Poi arriva la parte interessante, quella che normalmente finisce in una nota a piè di pagina quando il marketing ha già preparato la slide con scritto “3,5x better coverage”. L’assistenza AI ha anche influenzato il modo in cui gli auditor proseguivano l’indagine. Le proposte generate dall’agente introducevano nuove strategie, ma potevano contemporaneamente restringere il campo delle esplorazioni successive, spingendo le persone verso le forme di attacco suggerite dalla macchina. L’effetto è particolarmente importante perché la qualità di un audit non dipende soltanto dal numero di problemi trovati, ma anche da ciò che è stato cercato, da ciò che non è stato cercato e dal motivo per cui una determinata direzione investigativa è stata abbandonata.
La seconda forma di delega è ancora più delicata. Quando l’agente passa dalla generazione di scenari alla valutazione del risultato e alla scrittura del report, il rischio non è più soltanto quello di perdere copertura. Diventa il rischio di trasferire il giudizio. Nel paper gli autori osservano che gli auditor hanno spesso accettato le valutazioni del Detector e le bozze del Report Generator con modifiche limitate. In altre parole, l’essere umano rimane nel circuito, ma il fatto di esserci non significa necessariamente che stia esercitando un controllo sostanziale. Una firma può certificare responsabilità; non può trasformare automaticamente un output generato da un modello in giudizio professionale.
È qui che il numero dei 150 report su 160 assume un peso diverso. Un auditor che utilizza una macchina per preparare il lavoro non sta necessariamente delegando il proprio giudizio. Un auditor che accetta sistematicamente il lavoro della macchina senza modificarlo sta invece creando una nuova forma di dipendenza cognitiva. Il problema non è che l’AI scriva bene. Il problema è che scriva abbastanza bene da rendere psicologicamente costoso riscriverla. La tecnologia non deve convincerti di avere ragione; è sufficiente che renda abbastanza comodo non verificare se hai torto.
Il paper introduce anche un’altra questione che per banche, assicurazioni e grandi imprese dovrebbe essere immediatamente familiare: l’agente che fa auditing diventa esso stesso parte dell’oggetto di governance. I quattro practitioner Responsible AI intervistati nello studio hanno chiesto informazioni sulla copertura dell’audit, sulla possibilità di ricostruire e ripetere gli attacchi, sul modo in cui sono stati prodotti i risultati e sulla manutenzione degli stessi agenti di auditing. Se un attacco funziona prima di una modifica e non funziona dopo, serve sapere se la modifica ha realmente corretto il sistema oppure se è cambiato il meccanismo che rileva il fallimento. Senza questa distinzione, il miglioramento potrebbe essere soltanto un artefatto del misuratore.
La questione diventa ancora più scomoda quando auditor e sistema auditato appartengono alla stessa famiglia tecnologica. Nel contesto dello studio, gli agenti di auditing e il sistema sottoposto a test utilizzavano modelli della stessa famiglia Google. Non significa automaticamente che condividano gli stessi errori, ma introduce un problema strutturale: un modello incaricato di trovare i difetti di un altro modello può ereditare alcune delle stesse assunzioni, euristiche o zone cieche. È il vecchio problema dell’indipendenza dell’auditor trasportato nel mondo dei foundation model, soltanto con una quantità molto maggiore di marketing attorno. Gli autori sottolineano infatti che gli auditing agent devono essere valutati e mantenuti come sistemi a sé, non trattati come semplici componenti neutri del workflow.
Per una funzione di internal audit o per una seconda linea di controllo, la conseguenza organizzativa è significativa. Un agente che produce evidenza non è soltanto un software di produttività. È un modello che contribuisce alla formazione di un giudizio e, quando il suo output entra in un audit report, influenza una decisione di governance. Dovrebbe quindi avere almeno un’identità tecnica, una versione, un proprietario, una configurazione documentata, criteri di validazione, log delle attività e una procedura di revalidation. La copertura dichiarata dall’agente è una claim, non un fatto metafisico. Come qualsiasi altra claim, deve essere verificata.
La distinzione è cruciale anche perché HAAC non propone semplicemente “AI al posto dell’uomo”. Il framework distribuisce esplicitamente le responsabilità tra attività automatizzate, attività aumentate dall’AI e attività riservate al giudizio umano. L’idea più interessante del lavoro non è quindi automatizzare l’audit, ma rendere esplicita la divisione del lavoro tra macchina e professionista. È una differenza sostanziale. Automatizzare senza definire chi è responsabile significa soltanto spostare l’opacità più avanti nella catena.
La cultura tecnologica tende a celebrare il software che elimina passaggi umani. L’audit funziona quasi al contrario: più un sistema diventa capace di produrre evidenza, più diventa importante sapere come quell’evidenza è stata prodotta. Un audit AI senza tracciabilità del processo rischia di diventare una fotografia senza negativo; mostra un risultato, ma non consente di ricostruire davvero come ci si è arrivati. Il problema non è avere 10.000 test generati da un agente. È sapere quali 10.000 sono stati generati, quali milioni di possibilità sono rimaste fuori e perché.
La domanda quindi non riguarda soltanto se un agente AI possa aiutare un auditor. La domanda organizzativa è molto più severa: quale livello di governance deve avere un sistema che produce le prove sulle quali altri esseri umani baseranno una decisione di controllo? Se la risposta è inferiore a quella richiesta al sistema che viene auditato, l’azienda rischia di costruire una situazione curiosa ma perfettamente moderna: un’intelligenza artificiale che certifica un’altra intelligenza artificiale, un essere umano che firma il certificato e nessuno che abbia validato davvero il certificatore. Il futuro dell’audit AI potrebbe quindi non essere l’eliminazione dell’auditor, ma la nascita di una nuova categoria professionale: l’auditor dell’auditor artificiale.