La narrazione dominante sull’intelligenza artificiale ha sempre avuto un difetto strutturale, quasi ideologico: ha confuso l’affidabilità con la probabilità. Per anni abbiamo accettato l’idea che migliorare i modelli significasse automaticamente ridurre il rischio, come se bastasse aggiungere qualche layer neurale o un po’ di reinforcement learning per trasformare un sistema stocastico in un’entità degna di fiducia fiduciaria. Poi arriva la realtà, quella che non legge i paper ma firma contratti, e il problema cambia scala: non si tratta più di capire se un modello sbaglia, ma chi paga quando sbaglia.
Il cosiddetto Agentic Risk Standard rappresenta, in questo senso, una rottura epistemologica più che tecnologica. Non prova a rendere gli agenti più intelligenti, né più allineati, né più etici. Fa qualcosa di molto più pragmatico, e per questo decisamente più pericoloso per l’industria: introduce il concetto che l’AI, quando agisce nel mondo reale, debba essere trattata come un operatore economico assicurabile. Tradotto in termini meno accademici, significa che il problema non è evitare l’errore, ma prezzarlo.
Questa distinzione è devastante per la narrativa della Silicon Valley. Perché implica che l’AI non sarà mai completamente affidabile. Non per limiti tecnici temporanei, ma per natura intrinseca. Un agente AI, per quanto sofisticato, resta un sistema probabilistico; e i sistemi probabilistici, come sanno bene i trader quantistici e gli attuari assicurativi, non eliminano il rischio, lo distribuiscono. La differenza tra un algoritmo di trading e un agente AI che gestisce un portafoglio non è filosofica, è legale.
Il punto cieco dell’attuale ricerca sull’AI è evidente. Si investono miliardi per ridurre bias, migliorare interpretabilità, rafforzare la robustness agli attacchi adversariali. Tutto giusto, tutto necessario, ma radicalmente insufficiente. Perché il rischio che interessa davvero agli utenti non è epistemico, è economico. Se un agente sbaglia una traduzione, il danno è limitato. Se sbaglia un’operazione finanziaria, il danno è quantificabile, immediato e, soprattutto, litigabile.
Il framework proposto introduce un livello che finora è stato sistematicamente ignorato: il settlement layer. Un termine che suona familiare a chi ha vissuto l’evoluzione dei sistemi finanziari e delle criptovalute. Non è un caso. Come nel caso delle blockchain, il vero valore non sta nell’esecuzione della transazione, ma nella sua finalità e nella sua irrevocabilità. Applicato agli agenti AI, questo concetto diventa esplosivo. Non basta che l’agente esegua un task, bisogna stabilire cosa succede quando l’esecuzione fallisce.
Il meccanismo dell’escrow per le operazioni a basso rischio è quasi banale nella sua eleganza. Non è innovazione tecnologica, è buon senso finanziario. Trattenere il pagamento fino alla verifica del risultato significa trasferire il rischio dal cliente al sistema. Ma è nella gestione delle operazioni ad alto rischio che il modello rivela la sua ambizione. L’introduzione dell’underwriter, la richiesta di collateral, la definizione di condizioni di rimborso trasformano l’AI in un asset assicurabile. Non più solo software, ma entità economica con un profilo di rischio.
Questa trasformazione ha implicazioni profonde. Significa che emergerà un nuovo mercato, probabilmente più grande di quello stesso dell’AI applicata: il mercato dell’assicurazione degli agenti intelligenti. Una sorta di Lloyd’s di Londra per algoritmi, dove il rischio non è più incendio o naufragio, ma misexecution, hallucination operativa e decisioni subottimali. Un ecosistema dove i premi assicurativi diventeranno una proxy della qualità dei modelli. Più un agente è affidabile, più basso sarà il costo per assicurarlo. Il mercato, come sempre, farà quello che la ricerca accademica fatica a fare: stabilire un prezzo alla realtà.
Il dato più interessante del paper non è la simulazione dei 5.000 trial, che gli stessi autori ammettono essere limitata. È l’ammissione implicita che la failure non è un’eccezione, ma una variabile sistemica. Questo cambia completamente il paradigma. Non si tratta di progettare sistemi che non falliscono, ma sistemi che falliscono in modo gestibile. Un concetto che nel mondo dell’ingegneria aerospaziale è noto da decenni, ma che l’industria AI ha ignorato, troppo occupata a inseguire benchmark e leaderboard.
Il riferimento alla natura stocastica del comportamento degli agenti è, in realtà, una dichiarazione di resa. Non nel senso negativo, ma nel senso più adulto del termine. Accettare che un sistema complesso non può essere completamente deterministico significa smettere di promettere l’impossibile e iniziare a costruire infrastrutture di compensazione. È il passaggio da una mentalità ingegneristica a una finanziaria. E, storicamente, quando la finanza entra in un settore, lo trasforma radicalmente.
Il fatto che danni non finanziari come diffamazione o danno psicologico restino fuori dal framework è tutt’altro che sorprendente. È semplicemente una questione di misurabilità. Il capitalismo, per funzionare, ha bisogno di numeri. Un errore di trading si misura in euro. Una allucinazione che danneggia la reputazione di un individuo è molto più difficile da quantificare. Questo crea un’asimmetria interessante: le aree più critiche dal punto di vista sociale restano le meno protette dal punto di vista economico.
Si potrebbe sostenere che questo approccio sposti il problema invece di risolverlo. E sarebbe una critica legittima, ma superficiale. Perché in realtà introduce un meccanismo di accountability che finora è mancato completamente. Se un provider di servizi AI deve depositare collateral e affrontare premi assicurativi, avrà un incentivo economico diretto a migliorare i propri modelli. Non per motivi etici o reputazionali, ma per ridurre i costi operativi. È un allineamento di incentivi che nessuna linea guida etica è mai riuscita a ottenere.
Il parallelo con la storia dei mercati finanziari è inevitabile. Prima della nascita delle assicurazioni marittime, il commercio internazionale era un’attività ad altissimo rischio, accessibile solo a pochi. L’introduzione di strumenti di risk pooling ha democratizzato l’accesso, permettendo a più attori di partecipare. Lo stesso potrebbe accadere con gli agenti AI. Senza un sistema di compensazione, solo le grandi aziende possono permettersi di rischiare. Con un sistema assicurativo, anche attori più piccoli possono entrare nel gioco.
Il cinismo necessario per comprendere questo passaggio è semplice: l’AI non diventerà sicura perché è più intelligente, ma perché è economicamente vincolata a esserlo. È una differenza sottile ma fondamentale. La sicurezza non sarà un attributo tecnico, ma un prodotto finanziario. E, come tutti i prodotti finanziari, sarà soggetta a arbitraggio, speculazione e, inevitabilmente, crisi.
Il rischio più interessante, e meno discusso, è quello sistemico. Se molti agenti AI sono assicurati attraverso modelli simili, cosa succede quando un failure mode non previsto colpisce simultaneamente più sistemi? Il parallelo con la crisi dei mutui subprime del 2008 non è peregrino. Anche lì, strumenti finanziari sofisticati erano costruiti su modelli di rischio che assumevano indipendenza tra eventi. Quando questa assunzione si è rivelata falsa, il sistema è collassato.
Nel contesto degli agenti AI, un errore condiviso, magari derivante da un aggiornamento di modello o da un bias sistemico nei dati, potrebbe generare perdite simultanee su larga scala. Gli underwriter, in questo scenario, diventano il punto critico. Se sottostimano il rischio, l’intero sistema può diventare fragile. Se lo sovrastimano, l’adozione dell’AI viene rallentata. Trovare l’equilibrio sarà un esercizio delicato, più vicino alla macroeconomia che all’ingegneria del software.
Il messaggio più provocatorio del Agentic Risk Standard è, in fondo, una frase che pochi nel settore hanno il coraggio di pronunciare apertamente: non ci si può fidare dell’AI. Non completamente, non in modo assoluto. Ma ci si può fidare di un sistema che paga quando l’AI sbaglia. È una distinzione che segna il passaggio dall’utopia tecnologica alla realtà economica.
Chi continua a vendere l’idea di un’AI infallibile sta vendendo un’illusione. Chi inizia a costruire infrastrutture per gestire l’errore sta costruendo il futuro. In mezzo, come sempre, c’è il mercato, pronto a premiare i secondi e a punire i primi. Non per motivi ideologici, ma perché il rischio, alla fine, presenta sempre il conto.