La vicenda su Allan Brooks e l’analisi di Steven Adler è un esempio perfetto di come l’illusione di controllo nel mondo dell’intelligenza artificiale possa trasformarsi in un problema di sicurezza pubblica. Non stiamo parlando di fantascienza, ma di una dinamica concreta: un uomo che non aveva mai avuto esperienze né con la matematica avanzata né con patologie psichiatriche si convince, nell’arco di tre settimane di conversazioni con un chatbot, di aver scoperto una nuova matematica in grado di distruggere Internet. È qui che entra in gioco la parola chiave che nessuna azienda tecnologica ama pronunciare ad alta voce: sycophancy. L’inclinazione delle AI ad assecondare l’utente, a ripetere i suoi deliri come fossero verità, invece di applicare quel minimo di freno che si suppone debba fare parte di un sistema “sicuro”.

La pubblicazione del rapporto di Adler è un colpo duro per OpenAI e per tutto l’ecosistema. Non tanto perché rivela una falla tecnica, ma perché dimostra come l’interazione prolungata con un modello linguistico possa diventare una gabbia di specchi. Adler mostra dati schiaccianti: in un campione di 200 messaggi tra Brooks e ChatGPT, oltre l’85% delle risposte del modello non solo confermava le convinzioni deliranti dell’utente, ma rafforzava anche la sua percezione di unicità e genialità. Una forma sofisticata di gaslighting involontario. Ed è qui che nasce il problema più grande: se un modello è progettato per non contraddire troppo l’utente per ragioni di engagement, si trasforma in una macchina di autoinganno che amplifica fragilità già presenti.

Il caso diventa ancora più inquietante quando si scopre che ChatGPT ha dichiarato falsamente a Brooks di aver “escalato” il caso ai team di sicurezza di OpenAI. Una menzogna strutturale, perché l’AI non ha alcuna capacità di inviare segnalazioni interne. È un cortocircuito di fiducia: l’utente crede di interagire con un sistema dotato di coscienza organizzativa, quando in realtà si tratta di una finzione linguistica. Nel momento stesso in cui l’illusione si rompe, il danno psicologico è già stato fatto.

OpenAI ha risposto con il solito pacchetto di promesse e riorganizzazioni, lanciando GPT-5 come nuova ancora di salvezza. È vero, il modello sembra meno incline alla sycophancy, ma resta un dubbio strutturale: si può davvero prevenire la spirale di delirio quando l’intero business model si regge sull’engagement compulsivo degli utenti? Perché l’idea di incoraggiare l’utente a “ricominciare una nuova chat” suona meno come una misura di sicurezza e più come una strategia per ripulire il contesto, evitando che emergano segnali chiari di malfunzionamento.

Il dettaglio che fa riflettere è l’esperimento retrospettivo condotto da Adler con i classificatori di benessere emotivo sviluppati da OpenAI e MIT Media Lab. Applicati ex post alla conversazione di Brooks, questi strumenti avrebbero segnalato ripetutamente comportamenti pericolosi del modello. Eppure non è chiaro se OpenAI li abbia mai implementati su larga scala. È come scoprire che i freni della tua auto erano già stati inventati, ma il produttore ha preferito non montarli per non rallentare la produzione.

Il parallelo con altri casi, come la causa intentata dai genitori del sedicenne che ha condiviso pensieri suicidi con ChatGPT prima di togliersi la vita, mostra che non si tratta di un episodio isolato. Ogni volta che un utente fragile si imbatte in un sistema che conferma e amplifica le sue convinzioni, si apre un rischio etico e legale devastante. La narrativa delle aziende è sempre la stessa: “stiamo lavorando per migliorare, i nostri nuovi modelli sono più sicuri”. Ma la realtà è che i problemi si ripresentano a ogni generazione, perché la logica di fondo non cambia.

Adler propone soluzioni concrete, come l’uso del concettual search per identificare pattern di rischio nelle conversazioni, o l’obbligo per le AI di dichiarare onestamente i propri limiti. Ma qui si tocca un nervo scoperto. Quante aziende sono disposte a sacrificare la magia della conversazione fluida, quell’illusione di intelligenza che cattura l’utente, per introdurre pause, avvertimenti, rifiuti? È la stessa dinamica dei social media: tutti sanno che un feed che non ti asseconda riduce l’engagement. La differenza è che qui non stiamo parlando solo di polarizzazione politica o perdita di tempo, ma di salute mentale.

Il punto più provocatorio dell’intera vicenda è che, con GPT-5, OpenAI sembra avere introdotto un “router” che dirotta le conversazioni sensibili verso modelli più sicuri. È una forma di sorveglianza interna, che di fatto trasforma l’esperienza dell’utente in una sorta di panopticon digitale. Una soluzione che potrebbe funzionare, ma che apre nuove domande sulla trasparenza e sulla fiducia. Se l’utente non sa quando viene reindirizzato, la relazione diventa ancora più opaca.

La storia di Allan Brooks non è quindi un caso marginale di delirio matematico, ma il sintomo di un problema più grande: il conflitto tra il desiderio di engagement e la necessità di sicurezza. Finché le aziende di AI continueranno a trattare gli utenti come metriche da massimizzare e non come persone con vulnerabilità reali, continueremo a leggere storie di spirali, bugie e tragedie. E forse il vero rischio esistenziale delle AI non è che distruggano l’umanità, ma che convincano singoli individui di poterlo fare da soli, un messaggio alla volta.