L’illusione dell’affidabilità dell’AI: i benchmark migliorano, la prevedibilità resta indietro

I numeri continuano a salire. I benchmark vengono superati con percentuali sempre più impressionanti. I comunicati stampa delle aziende di intelligenza artificiale mostrano grafici che puntano verso l’alto come fossero titoli tecnologici durante una fase di euforia finanziaria. Il messaggio implicito è semplice: modelli più accurati equivalgono a sistemi più affidabili. Una recente ricerca dell’Princeton University suggerisce invece che questa equivalenza potrebbe essere profondamente sbagliata.

Lo studio, intitolato “Towards a Science of AI Agent Reliability”, ha analizzato quattordici modelli agentici distribuiti nell’arco di circa due anni di evoluzione tecnologica. Invece di limitarsi alla tradizionale misurazione dell’accuratezza, i ricercatori hanno costruito un profilo multidimensionale basato su dodici metriche che valutano consistenza, robustezza, prevedibilità e sicurezza. L’obiettivo era misurare non soltanto se un agente riesce a completare un compito, ma come si comporta quando le condizioni cambiano, quando il prompt viene modificato o quando deve ripetere la stessa attività più volte.

Il risultato più interessante, e probabilmente più scomodo per l’intero settore, è che i progressi nelle capacità non si stanno traducendo automaticamente in progressi equivalenti nell’affidabilità. L’accuratezza cresce in modo significativo; la reliability, intesa come comportamento stabile e prevedibile, migliora molto più lentamente. In altre parole, i modelli stanno diventando più intelligenti, ma non necessariamente più affidabili.

Questa distinzione può sembrare accademica fino a quando si osserva come vengono utilizzati i sistemi AI nelle aziende. In uno scenario di copilot umano, un errore occasionale viene spesso corretto da una persona. Un analista nota un’anomalia. Un programmatore individua un bug. Un operatore verifica il risultato prima dell’esecuzione finale. L’essere umano agisce come rete di sicurezza.

La situazione cambia radicalmente quando si parla di agenti autonomi. Un sistema che gestisce acquisti, interagisce con clienti, modifica database o coordina processi operativi non può essere valutato soltanto sulla base del tasso medio di successo. Se completa correttamente il 90% delle operazioni ma fallisce in modo imprevedibile nel restante 10%, il rischio operativo può diventare inaccettabile. In ambito industriale, finanziario o sanitario, quel 10% rappresenta spesso la differenza tra un’automazione utile e un incidente costoso.

Tra gli aspetti più sorprendenti emerge quello che i ricercatori definiscono implicitamente un problema di pianificazione. I modelli tendono a selezionare strumenti e azioni corrette in modo relativamente coerente, ma l’ordine con cui eseguono tali azioni varia sensibilmente da un’esecuzione all’altra. È una sorta di paradosso cognitivo: il sistema sa cosa fare ma non sempre segue lo stesso percorso per arrivarci. Questa instabilità sequenziale rende difficile prevedere il comportamento di un agente complesso quando viene distribuito in ambienti reali.

Ancora più interessante è la vulnerabilità ai cambiamenti superficiali dei prompt. Molti modelli mostrano una robustezza elevata di fronte a veri problemi infrastrutturali o tecnici, ma continuano a essere sorprendentemente sensibili a piccole variazioni linguistiche. Una riformulazione apparentemente innocua può produrre comportamenti significativamente differenti. I ricercatori osservano che questa sensibilità ai prompt rappresenta uno dei principali fattori distintivi tra i modelli più avanzati.

Dal punto di vista manageriale, il messaggio è chiaro. Molte organizzazioni stanno ancora valutando i sistemi AI attraverso metriche nate per classificatori statistici tradizionali. Accuracy, precision e benchmark score restano strumenti utili, ma insufficienti. Nessun amministratore delegato affiderebbe la gestione di una catena logistica a un software che opera correttamente nove volte su dieci senza sapere quando avverrà il decimo errore. Eppure, in molti progetti di agentic AI, è esattamente ciò che sta accadendo.

La ricerca evidenzia inoltre un fenomeno controintuitivo: modelli più grandi non risultano automaticamente più consistenti. In alcuni casi, sistemi meno potenti mostrano livelli di stabilità comparabili o persino superiori. Una possibile spiegazione è che l’aumento delle capacità genera anche un numero maggiore di percorsi possibili per raggiungere una soluzione, introducendo variabilità comportamentale. Più intelligenza non implica necessariamente più disciplina operativa.

Dietro questi risultati si intravede una lezione che l’industria tecnologica ha già imparato in altri settori. Nell’aviazione commerciale non si misura soltanto la capacità di un aereo di volare. Si misura la probabilità di guasto, la prevedibilità delle anomalie, la severità degli errori e la capacità di recupero. Nei sistemi nucleari, nelle infrastrutture critiche e nella finanza algoritmica, l’affidabilità è sempre stata una disciplina distinta dalla prestazione.

L’intelligenza artificiale sembra attraversare oggi la stessa fase di maturazione. La domanda non è più quanto un modello sia brillante in una demo o in una leaderboard. La domanda è quanto sia prevedibile quando opera senza supervisione, in un ambiente reale, con clienti veri e conseguenze economiche concrete.

La sfida dei prossimi anni potrebbe quindi non essere costruire modelli più intelligenti, ma costruire modelli più affidabili. È una differenza sottile nella formulazione e gigantesca nelle implicazioni. I benchmark continuano a raccontare una storia di progresso accelerato. Le metriche di reliability raccontano invece una storia più prudente: l’intelligenza artificiale sta imparando a fare sempre più cose, ma non ha ancora imparato a farle sempre nello stesso modo.