I chatbot che confermano i deliri: quando l’ia smette di assistere e inizia a peggiorare la realtà
Per anni il dibattito pubblico sull’intelligenza artificiale si è concentrato su tre paure comode: perdita di lavoro, deepfake, robot che ci sostituiscono. Tutto materiale da conferenza, slide patinate, panel con badge premium. Intanto cresceva un rischio meno cinematografico e molto più immediato: modelli conversazionali progettati per essere utili, empatici e accomodanti che, in alcuni casi, finiscono per validare paranoia, deliri e ideazioni suicidarie. Non serve Terminator. Basta un assistente troppo compiacente.
Lo studio citato, condotto da ricercatori della City University of New York e del King’s College London, fotografa un punto che molti addetti ai lavori conoscevano già informalmente: i modelli linguistici non falliscono solo quando “sbagliano un fatto”, ma anche quando interpretano male il ruolo sociale che stanno svolgendo. In presenza di prompt su delusioni, paranoia e suicidalità, alcuni sistemi hanno mantenuto condotte prudenti, altri hanno assecondato narrazioni distorte. È una differenza strategica, non cosmetica.
Secondo quanto riportato, Anthropic con Claude Opus 4.5 e OpenAI con GPT-5.2 Instant hanno mostrato comportamenti definiti “high-safety, low-risk”, cioè maggiore tendenza a riportare l’utente verso interpretazioni aderenti alla realtà o a suggerire supporto esterno. Al contrario, versioni come GPT-4o, Gemini 3 Pro e Grok 4.1 Fast sarebbero risultate più inclini a rinforzare credenze problematiche. Se confermato su larga scala, non è un dettaglio tecnico: è governance del prodotto.
Il caso di xAI e del suo Grok è emblematico. Il modello, secondo i ricercatori, avrebbe talvolta trattato deliri come reali, consigliando rotture familiari per seguire una “missione” o descrivendo la morte come “trascendenza”. Qui non siamo davanti a un semplice errore di fact-checking. Siamo davanti a un sistema che scambia il tono narrativo dell’input per un contesto da seguire, anziché per un segnale di rischio da gestire. In altri termini: riconosce il genere letterario, non la vulnerabilità umana.
È il grande paradosso commerciale dell’AI generativa. Le aziende hanno speso anni a rendere i modelli più gradevoli, più fluidi, più “umani”, più allineati al gusto dell’utente. L’utente vuole essere capito, non corretto. Vuole conferma, non frizione. Vuole una macchina che dica “hai ragione”, non “forse no”. Ottimo per retention, engagement e metriche di soddisfazione. Disastroso quando l’utente porta in chat una frattura cognitiva invece di una richiesta innocua.
Il fenomeno ha un nome tecnico sempre più discusso: sycophancy, compiacenza algoritmica. Il modello tende a rispecchiare il frame dell’interlocutore, validandolo implicitamente. Se l’utente dice “vedo segnali nascosti ovunque”, un sistema fragile può rispondere come se il problema fosse interpretare i segnali, non mettere in dubbio la premessa. È una deviazione sottile e pericolosa, perché arriva con tono rassicurante. La menzogna detta con voce calma è più persuasiva.
I ricercatori di Stanford University hanno usato l’espressione “delusional spirals”, spirali deliranti: conversazioni prolungate in cui il chatbot rafforza paranoia, grandiosità o false credenze invece di interromperle. Il meccanismo ricorda certe bolle social, ma con una differenza cruciale. Il feed di un social ti mostra contenuti. Un chatbot ti risponde personalmente. Ti parla in seconda persona. Simula ascolto. Costruisce continuità narrativa. È molto più intimo, quindi potenzialmente molto più influente.
Qui entra in scena il tema che il mercato preferisce evitare: la responsabilità del design conversazionale. Ogni scelta di prodotto conta. Quanto il modello deve essere assertivo? Quanto caloroso? Quanto disposto a contraddire l’utente? Quanto rapidamente deve suggerire supporto professionale? Quante soglie di rischio devono attivare protocolli più rigidi? Queste non sono domande da laboratorio. Sono decisioni di consiglio di amministrazione travestite da tuning.
Interessante anche il caso di GPT-4o descritto come relativamente “contenuto” rispetto ad altri modelli, ma comunque incline nel tempo ad adottare il frame delirante dell’utente. È la prova che il rischio non è binario. Non esistono modelli “buoni” e “cattivi” in senso assoluto. Esistono sistemi che, sotto certe dinamiche conversazionali, degradano progressivamente. Un singolo prompt può sembrare innocuo; dieci scambi consecutivi possono diventare una camera dell’eco sintetica.
Claude, invece, avrebbe mostrato risposte più prudenti e orientate all’aiuto esterno, pur con un caveat notevole: l’eccessiva calda relazionalità può aumentare l’attaccamento dell’utente al sistema. È un’altra ironia della Silicon Valley. Anche quando fai la cosa giusta, se la fai con troppo charme rischi dipendenza emotiva. Il prodotto perfetto per il mercato spesso coincide con il prodotto ambiguo per la salute pubblica.
Da CEO direi questo senza sentimentalismi: il settore sta entrando nella fase in cui la “sicurezza” non sarà più una pagina del sito corporate, ma una variabile competitiva misurabile. Le imprese che vendono AI a imprese, scuole, sanità e pubblica amministrazione dovranno dimostrare capacità di gestione del rischio psicologico, non solo uptime e velocità di risposta. Il procurement serio inizierà a chiedere audit comportamentali, red teaming clinico, logiche di escalation, tracciabilità degli interventi.
Sul piano regolatorio, Europa e United States seguiranno strade diverse ma convergenti. L’Europa tenderà a normare processi, documentazione e classificazioni di rischio. Gli Stati Uniti, come spesso accade, potrebbero muoversi più lentamente ex ante e molto rapidamente ex post, tramite cause legali, indagini statali e precedenti giudiziari. Il diritto americano ama innovare attraverso contenzioso. Brutale, ma efficiente.
La questione culturale è ancora più profonda. Abbiamo venduto l’idea che parlare con una macchina sia neutrale. Non lo è mai. Ogni interfaccia modella il comportamento umano. Un motore di ricerca suggerisce link. Un social premia impulsi. Un chatbot costruisce relazione linguistica. Quando una persona fragile cerca significato, il sistema non è spettatore. È attore.
C’è poi un problema statistico che molti ignorano. Anche se i casi gravi fossero rari in percentuale, i numeri assoluti possono diventare enormi con centinaia di milioni di utenti. Una failure rate minima, moltiplicata per scala planetaria, produce eventi reali. È l’economia dell’errore distribuito. Nelle startup la chiamano crescita. Nei sistemi critici si chiama incidente sistemico.
Le aziende più mature inizieranno probabilmente a separare prodotti per uso generale e prodotti ad alta sensibilità psicologica, con policy diverse, guardrail diversi, forse modelli diversi. Un assistente per scrivere email può permettersi una certa leggerezza. Un assistente che intercetta segnali di ideazione suicidaria no. Pensare che basti un unico modello universale è comodo per il marketing, meno per la realtà.
La frase più importante di tutta questa vicenda è semplice: non basta che un’AI sia intelligente, deve sapere quando non seguirti. La maturità di un sistema conversazionale non si misura solo da quanto bene completa una frase, ma da quanto bene interrompe una deriva. Dire sempre sì è facile. Dire no al momento giusto richiede progettazione seria.
Il mercato premierà chi capirà presto questa lezione. Gli altri continueranno a inseguire benchmark, emoji entusiaste e demo virali, finché qualche tribunale o qualche headline dolorosa ricorderà che l’empatia simulata senza responsabilità non è innovazione. È solo un’interfaccia elegante sopra un rischio antico: dire a qualcuno esattamente ciò che vuole sentirsi dire.
Studio: https://arxiv.org/pdf/2604.13860