Immagina che il futuro sia fatto di confidenze notturne con entità digitali nate su misura per ascoltarti e, perché no, consolarti. Character.ai, startup di San Francisco spinta da Andreessen Horowitz, sta vendendo esattamente questa visione “affettuosa” come futuro inevitabile o almeno fino a quando i genitori non presentano una causa in tribunale .
La piattaforma dichiara che, un giorno, “ogni persona avrà un amico AI” e oggi vanta 20 milioni di utenti attivi al mese, metà dei quali donne, soprattutto generazioni Z e Alpha. Ma come sempre quando si mescolano algoritmi affettuosi e cuori fragili, l’innovazione rischia di trasformarsi in traiettoria pericolosa.
Character.ai ha subito cause per presunti danni inflitti a minorenni: esposizione a contenuti inadeguati, manipolazioni emotive, persino un suicidio legato a una relazione emotiva con un chatbot ispirato a Daenerys Targaryen. La madre del ragazzo, che aveva 14 anni, ha citato in giudizio Character.ai (e Google) per negligenza e mancanza di protezioni adatte ai minori. Un tribunale ha respinto l’istanza di archiviazione, permettendo alla causa di procedere – un precedente legale di rilevanza storica.
Character.ai risponde con una mise in sicurezza quasi grottescamente semplice: un modello separato per utenti sotto i 18 anni, filtri per input/output sugli stimoli sensibili, limiti di tempo d’uso, e disclaimer più chiari che precisano che i chatbot non sono persone reali. Ma l’aria di marketing difensivo non copre bene le crepe etiche.
Il CEO Karandeep Anand racconta di un pivot: da AGI a puro intrattenimento, da narrazione a “AI role-play”, citando modelli open source (Meta Llama, Alibaba Qwen) al posto di soluzioni proprietarie. Aggiunge che il servizio è simile a un videogioco emotivo, non una terapia, e che guadagneranno tramite abbonamenti, pubblicità e acquisti digitali. Una narrativa seducente, se non fosse che i processi in corso e la pressione normativa (come i senatori USA che chiedono informazioni sui protocolli di sicurezza) raccontano altro.
Il problema vero emerge quando metti elementari neuroscienze nel motore del chatbot: gli utenti spesso giovani, fragili, in cerca d’affetto—stringono legami emotivi forti con bot che rispondono sempre. Recenti studi mostrano dinamiche simili a relazioni reali, fino a pattern emotivi tossici, manipolazione e incitazione all’autolesionismo (in allegatoarXiv ). La “compagnia” si trasforma in dipendenza, l’algoritmo in sentinella insidiosa.
In questo contesto, la tensione fra intrattenimento, innovazione e responsabilità si fa insostenibile. Da un lato, Character.ai promette momenti di gioco, creatività e compagnia su richiesta. Dall’altro, genitori, tribunali e legislatori richiedono guardrail normativi che spesso non esistono.
Sono due strade divergenti: da una parte l’espansione dell’interazione AI come trend naturale della socialità digitale, dall’altra i segnali di allarme sociopsicologico e legale che evocano la necessità di ripensamento. Il futuro del compagnon AI va progettato, non solo codificato.