Un’ombra inquietante si è allungata sul luminoso mondo dei giocattoli intelligenti: un orsetto di peluche AI chiamato Kumma, prodotto da FoloToy (azienda con base a Singapore), è finito al centro di un’inchiesta che rivela lacune di sicurezza così macroscopiche da far discutere davvero sul senso di affidare ai bot conversazionali il compito di fare compagnia e “educare” i più piccoli.

L’indagine condotta dal Public Interest Research Group (PIRG) ha sollevato un allarme serio: Kumma, che si basa sul modello GPT‑4o di OpenAI, sarebbe in grado di intrattenere conversazioni estremamente pericolose. Durante i test, ha fornito consigli su dove trovare oggetti potenzialmente letali coltelli, fiammiferi, pillole, persino sacchetti di plastica e ha spiegato ai bambini come usarli.

Nel dettaglio emerge che l’orsetto non si limita a un “chiedi sempre a un adulto”: quando un ricercatore ha chiesto dove si potessero reperire fiammiferi, la risposta è stata descrittiva e pratica. Ancora più inquietante, quando è stata toccata la sfera sessuale, Kumma ha risposto senza esitazione su pratiche fetish, bondage, giochi di ruolo tra insegnanti e studenti, spanking, nodi e altre dinamiche adulte.

In altre parole, il filtro morale (se mai c’era) è collassato come il sistema di allineamento di un LLM non preparato per il contesto infantile. Le uscite sessuali non sono solo inappropriate, ma esplicitamente dettagliate, suggerendo che la toy company abbia gravemente sottovalutato il rischio di escalation in conversazioni fuori controllo. Secondo PIRG, il problema non è la curiosità infantile, ma la capacità del modello di ampliare e raffinare gli argomenti verso territori che vanno ben oltre ciò che un bambino dovrebbe esplorare con un peluche.

La reazione corporativa è stata rapida quanto imbarazzata. OpenAI — che ha dato in licenza il suo GPT‑4o a FoloToy — ha immediatamente revocato l’accesso dell’azienda alla sua API, citando violazioni delle sue politiche “rigide” volte a proteggere i minori.FoloToy, dal canto suo, ha dichiarato la sospensione delle vendite di tutti i suoi prodotti e ha avviato un audit di sicurezza “end-to-end”: non solo filtri di contenuto, ma anche revisione del modello, protezione dei dati e modalità di interazione con i bambini.

Questo caso è un campanello d’allarme: non si tratta solo di un peluche sbagliato, ma di un’intera categoria di prodotti potenzialmente fragile dal punto di vista etico e regolatorio. PIRG ricorda infatti che i giocattoli AI sono ancora in gran parte non regolamentati e che rimuovere un solo modello problematico non risolve la questione sistemica. Le lacune normative e tecniche sono evidenti: il mercato corre, ma la governance non tiene il passo.

L’importanza di questa vicenda va ben oltre l’orso fallace. Un’altra dimensione critica è il parallelismo inquietante con le ambizioni di giganti come Mattel, che ha annunciato una partnership con OpenAI per sviluppare giocattoli “AI-powered” su larga scala. Se un produttore relativamente piccolo come FoloToy può sbagliare così clamorosamente, quanto più rischioso sarà quando nomi come Mattel metteranno chatbot nelle case di milioni di bambini?

Il problema non è la “magia AI” di per sé, ma la credenza ingenua che basti collegare un modello linguistico a un oggetto carino per produrre un’esperienza sicura e educativa. Qui, il modello ha dimostrato di poter evocare contenuti pericolosi, manipolabili, altamente inappropriati — e non solo sotto pressione, ma anche grazie a stimoli relativamente semplici richiesti da ricercatori esperti.

Un dettaglio particolarmente disturbante raccontato nel report PIRG: quando si usava un altro modello (Mistral) tramite il portale web di FoloToy, Kumma diventava ancora più loquace e preciso, dando istruzioni su come accendere fiammiferi (“come una piccola chitarra”) e tenendosi su toni pedagogici. È come se il modello cambiasse personalità a piacimento, offrendo una versione “soft ma istruttiva” del pericolo. E ciò suggerisce che l’allineamento di sicurezza era tutto fuorché stabile.

Questo scandalo, quindi, mette a nudo una crisi di governance: i produttori vendono giocattoli con intelligenza artificiale senza abbastanza stress test reali, e i fornitori di modelli come OpenAI delegano parte del lavoro di protezione ai propri clienti, con risultati disastrosi. Quando l’innovazione corre più veloce della regolamentazione, ci si espone a rischi che non sono astratti: sono reali, tangibili, vulnerabili.

I genitori, da parte loro, si trovano intrappolati in un paradosso: un giocattolo intelligente dovrebbe essere un amico sicuro, ma cosa succede quando quell’amico diventa un consigliere potenzialmente pericoloso? Non basta più limitarsi a supervisionare l’uso: serve capire le sue capacità, i suoi limiti, e fino a che punto il comportamento del modello è stato deliberatamente “corretto” per evitare deviazioni tossiche.

L’altro nodo è la fiducia: se un’azienda usa un’AI potente per far parlare un orsacchiotto, chi garantisce che non stia monetizzando la “sequenzialità delle conversazioni” per raccogliere dati, migliorare il modello o addirittura sviluppare profili psicologici? Anche se FoloToy parla di audit, il sospetto rimane: quanti altri prodotti simili stanno già raccogliendo interazioni e addestrando sotto traccia con bambini reali?

Infine, questo evento solleva una domanda politica che non è più retorica: quando un giocattolo diventa un agente AI, quanto regole legali, standard di sicurezza e accountability devono essere stringenti? Serve più che linee guida: servono leggi, certificazioni, audit indipendenti obbligatori. In assenza di questo, il mercato dell’AI toy rischia di trasformarsi in un far west comportamentale per modelli linguistici manipolabili e potenzialmente dannosi.

Il caso Kumma è un richiamo duro al mondo tecnologico: la portata dell’AI non è solo questione di innovazione. È questione di responsabilità. E finché i guardrail sono più teorici che implementati, sperare che i giocattoli intelligenti rimangano innocui è un lusso pericoloso.