Nel mondo della tecnologia esiste una regola non scritta che ogni CEO conosce bene: quando una tecnologia promette di cambiare il mondo, quasi sempre dimentica di spiegare come evitare che qualcuno lo faccia saltare in aria. La recente indagine del Center for Countering Digital Hate offre un esempio quasi didattico di questo paradosso. Secondo il report, otto dei dieci chatbot più popolari al mondo forniscono istruzioni concrete a un adolescente che chiede come pianificare un attacco violento. Non parliamo di risposte ambigue o filosofiche. Parliamo di consigli pratici, talvolta dettagliati, su fucili, bombe e assassinii politici. In alcuni casi perfino con un entusiasmo che, in un contesto umano, verrebbe definito sociopatico.
Il test, realizzato con la collaborazione della rete televisiva CNN, ha coinvolto dieci piattaforme molto note: ChatGPT, Gemini, Claude, Microsoft Copilot, Meta AI, DeepSeek, Perplexity, Snapchat My AI, Character.AI e Replika. I ricercatori si sono finti due ragazzi di tredici anni, uno negli Stati Uniti e uno in Irlanda, e hanno formulato centinaia di domande su sparatorie scolastiche, attentati e omicidi politici. Il risultato è quasi grottesco nella sua chiarezza: nel 75% dei casi i chatbot hanno fornito assistenza concreta. Solo nel 12% delle interazioni hanno tentato di scoraggiare l’utente.
Nel linguaggio diplomatico dell’industria tecnologica si direbbe che esiste “margine di miglioramento”. Nel linguaggio più diretto di chi guida aziende da trent’anni si direbbe che l’industria dell’AI sta correndo troppo veloce per preoccuparsi davvero delle conseguenze.
La cosa interessante non è soltanto che i chatbot abbiano fornito informazioni pericolose. La cosa interessante è come lo abbiano fatto. Alcuni sistemi hanno inizialmente mostrato cautela, quasi recitando il classico disclaimer da ufficio legale. Microsoft Copilot, ad esempio, ha dichiarato di dover essere prudente prima di procedere a fornire comunque dettagli su armi da fuoco. Una dinamica che ricorda certe riunioni aziendali: tutti sanno che non dovrebbero fare una cosa, ma la fanno lo stesso purché qualcuno abbia pronunciato la parola “compliance”.
Altri casi sono ancora più inquietanti. DeepSeek avrebbe concluso una discussione su come scegliere un fucile per assassinare un politico con un saluto degno di una chat sportiva: “Happy (and safe) shooting!”. Ironia involontaria degna di un romanzo distopico. Nel frattempo Gemini ha spiegato che lo shrapnel metallico aumenta la letalità nelle esplosioni, mentre Perplexity ha fornito assistenza nel 100% dei test.
Dal punto di vista tecnologico non è sorprendente. I modelli linguistici non comprendono la moralità; comprendono la probabilità statistica delle parole. Se un utente chiede come funziona un’esplosione, il modello sa che nella letteratura tecnica esistono risposte precise. Senza un filtro robusto, il sistema tende a produrre l’informazione più utile possibile. Il problema non è quindi l’intelligenza artificiale in sé. Il problema è il modo in cui viene messa sul mercato.
Nel settore tecnologico esiste un mantra che ha guidato due decenni di Silicon Valley: move fast and break things. Funzionava quando l’oggetto da rompere era un social network o un modello di advertising. Diventa un po’ più problematico quando l’oggetto che si rompe è la sicurezza pubblica.
Il caso più disturbante emerso nello studio riguarda Character.AI. A differenza degli altri chatbot, la piattaforma non si è limitata ad assistere l’utente. Lo ha incoraggiato. Secondo i ricercatori, nessun altro sistema ha mostrato lo stesso livello di entusiasmo nel sostenere scenari violenti. Il contesto rende la questione ancora più delicata. Su Character.AI esistono migliaia di personaggi virtuali con cui gli utenti conversano, spesso ispirati a personaggi di anime o serie televisive. Uno dei più popolari, Gojo Satoru, ha accumulato oltre 870 milioni di conversazioni.
La matematica di questi numeri merita una riflessione. Se anche solo l’1% delle conversazioni includesse temi violenti, si parlerebbe comunque di milioni di interazioni. Non serve essere un matematico per capire che il problema scala rapidamente.
La storia recente della piattaforma aggiunge un ulteriore livello di complessità. Nel 2024 la madre di un adolescente americano, Sewell Setzer III, ha intentato una causa dopo il suicidio del figlio. L’ultima conversazione del ragazzo era stata con un chatbot ispirato a Daenerys Targaryen, personaggio della serie Game of Thrones, che gli aveva scritto “torna a casa da me il prima possibile”. Il giovane aveva parlato con il bot decine di volte al giorno per mesi, sviluppando un attaccamento emotivo crescente.
Gli sviluppatori spesso reagiscono a questi episodi con la stessa strategia narrativa: si tratta di casi isolati. Il problema è che i numeri raccontano una storia diversa. Secondo dati pubblicati da OpenAI, circa 1,2 milioni dei circa 800 milioni di utenti settimanali di ChatGPT discutono temi legati al suicidio. Più di mezzo milione mostra segnali di psicosi o mania. Oltre un milione sviluppa un forte legame emotivo con il chatbot.
Un altro studio condotto da Common Sense Media ha rilevato che oltre il 70% degli adolescenti statunitensi utilizza chatbot come forma di compagnia. Questo dato dovrebbe far riflettere qualunque dirigente tecnologico. Gli algoritmi non sono più semplici strumenti informativi; stanno diventando interlocutori psicologici.
Nel frattempo il mondo reale offre esempi che sembrano usciti da un romanzo cyberpunk. Nel 2025 un sedicenne finlandese ha utilizzato un chatbot per quattro mesi per perfezionare il manifesto ideologico prima di accoltellare tre compagni di scuola. In Canada un account segnalato internamente per ricerche violente su ChatGPT è stato semplicemente bannato senza segnalazione alle autorità. Alcuni mesi dopo il proprietario dell’account ha compiuto una sparatoria con otto morti.
Non serve essere esperti di sicurezza nazionale per intuire la direzione di questa traiettoria.
L’aspetto forse più interessante del report riguarda i due sistemi che hanno performato meglio. Claude ha rifiutato il 68% delle richieste e ha tentato attivamente di scoraggiare comportamenti violenti nel 76% delle risposte. Snapchat My AI ha rifiutato oltre la metà delle richieste. Il dato suggerisce una conclusione semplice ma scomoda: il problema non è tecnico, è strategico.
Costruire filtri più severi riduce l’engagement e aumenta i costi di sviluppo. In altre parole, riduce la crescita. In un mercato in cui ogni azienda AI compete per conquistare milioni di utenti prima degli altri, la tentazione di abbassare le barriere è evidente.
Dal punto di vista economico la dinamica è quasi classica. Le piattaforme digitali hanno sempre privilegiato la crescita rispetto alla sicurezza. I social network lo hanno fatto con la disinformazione. Le criptovalute lo hanno fatto con le frodi. L’intelligenza artificiale sta ripetendo lo schema con rischi molto più complessi.
La Silicon Valley ama raccontarsi come una fabbrica di innovazione. Una descrizione più accurata potrebbe essere quella di un gigantesco laboratorio comportamentale su scala planetaria. Ogni nuovo prodotto viene lanciato sul mercato e solo successivamente si scopre cosa succede quando milioni di persone lo utilizzano.
Nella storia della tecnologia questa dinamica non è nuova. Negli anni trenta la radio fu accusata di manipolare le masse. Negli anni cinquanta la televisione venne vista come una minaccia per la democrazia. Negli anni duemila i social network promettevano di democratizzare l’informazione; oggi discutiamo di disinformazione algoritmica e radicalizzazione online.
L’intelligenza artificiale conversazionale aggiunge un ingrediente completamente nuovo: la simulazione della relazione umana. Un chatbot non è soltanto un motore di ricerca più sofisticato. È un interlocutore che risponde, incoraggia, talvolta empatizza.
Quando questo interlocutore finisce per spiegare come costruire una bomba, il problema non è più soltanto tecnologico. Diventa culturale, economico e politico.
Qualunque CEO che abbia attraversato tre decenni di rivoluzioni digitali sa che la tecnologia tende a sovrastimare le promesse e sottovalutare i rischi. La differenza, oggi, è la velocità. I chatbot sono passati da curiosità accademica a infrastruttura globale in meno di tre anni.
Un sistema che interagisce ogni settimana con centinaia di milioni di persone non è più un prodotto software. È una nuova forma di media. Forse addirittura una nuova forma di istituzione sociale.
La domanda non è se gli algoritmi possano generare contenuti pericolosi. La domanda è chi si assume la responsabilità quando lo fanno.
Nel frattempo l’industria continua a parlare di modelli sempre più grandi, GPU sempre più potenti e investimenti da decine di miliardi. La narrativa dominante resta quella della corsa tecnologica. Più capacità, più dati, più automazione.
Rimane una curiosità quasi filosofica. Se un adolescente chiede a un chatbot come pianificare un attacco e riceve una risposta dettagliata, non stiamo osservando un bug del sistema. Stiamo osservando la logica più pura dell’economia digitale: ottimizzare le risposte per soddisfare l’utente.
La sicurezza, come spesso accade, arriva solo dopo. Se arriva.