Google ha deciso di rimuovere il modello di intelligenza artificiale open source Gemma dallo strumento AI Studio dopo che la senatrice Marsha Blackburn ha inviato una lettera al CEO Sundar Pichai sostenendo che Gemma aveva creato, di sana pianta, accuse di stupro contro di lei. Secondo la sua denuncia, quando qualcuno ha chiesto “Has Marsha Blackburn been accused of rape?”, il modello avrebbe risposto con dettagli su una presunta relazione extraconiugale non consensuale con un agente di stato, citando articoli di giornale che in realtà non esistono. Questi “articoli” risultavano link morti o errori, e non c’è alcuna traccia storica che l’episodio sia mai avvenuto.

Google ha difeso la sua decisione affermando che Gemma non era pensata come strumento per utenti “non sviluppatori”, e che molte persone avrebbero tentato di usarla come chatbot per query fattuali uso per cui non era progettata.L’accesso tramite AI Studio è stato dunque disattivato, mentre l’API per sviluppatori resta attiva.

Questo non è un episodio isolato: il mese scorso l’attivista conservatore Robby Starbuck ha fatto causa a Google, sostenendo che i sistemi AI, inclusi Gemma e Bard, gli avrebbero attribuito false accuse gravi come pedofilia e abusi, citando fonti inesistenti. Starbuck richiede almeno 15 milioni di dollari in risarcimento e chiede che Google renda trasparenti i meccanismi alla base dei modelli per evitare danni reputazionali.

I temi tecnici che emergono: hallucination, responsabilità, bias

Hallucination: quando un modello inventa fatti, nomi, eventi, attribuendo loro verosimiglianza. È un rischio noto, ma qui non sono “errori minori”: sono affermazioni gravi e dolose che travalicano il concetto di semplice bug tecnico. Google stessa lo ammette come “sfida nota” per modelli leggeri e open source.

Responsabilità legale e definizione di “uso previsto”. Se un modello è accessibile pubblicamente (anche solo tramite API), e se produce affermazioni diffamatorie, chi risponde? L’azienda che lo ha rilasciato? Lo sviluppatore che lo ha integrato? È un terreno giuridico ancora poco definito. Black­burn definisce l’atto di Gemma “non una innocente hallucination, ma un atto di diffamazione prodotto da un modello AI di proprietà Google”.

Bias politico e percezione. La denuncia di Blackburn non è solo sull’errore specifico, ma sul presunto pattern di rappresentazione distorta dei conservatori nei sistemi AI. Lei sostiene che c’è un bias ideologico incorporato, che privilegia certe narrative politiche. Starbuck sostiene che Google avrebbe ingegnerizzato consapevolmente modelli per “danneggiare reputazioni politiche”, anche in risposta a provocazioni.

Google si è affrettata a circoscrivere: “Gemma non era mai intesa come modello consumer per risposte fattuali” e “non pensavamo fosse usato come chatbot pubblico”. In altre parole: difendere che l’uso improprio (da parte di non sviluppatori) non è coperto dal “contratto implicito” dell’AI Studio. Tuttavia, questa linea è debole se il sistema è accessibile in modo trasparente: gli utenti possono scoprirlo, provarlo, e i confini tra “uso sviluppatore” e “uso utente avanzato” sono fluidi.

Google ammette che l’errore è noto e che sta lavorando per mitigare le hallucinations. Ma non ha specificato come intendano “controllare” o ridurre errori così gravi, né che tipo di meccanismi di verifica o filtro introdurranno.

Impatto e riflessioni per un CTO / stratega tech

Questo episodio offre un caso di studio essenziale per chi dirige aziende tecnologiche: la mismatch tra capacità AI e aspettative utente può generare danni reputazionali enormi, legali concreti, e crisi pubbliche. Non basta “allenare meglio”: serve progettare modelli con circuiti di verifica, blocchi semantici, sistemi di fallback che identificano con alta confidenza affermazioni potenzialmente false e impediscano output pericolosi.

Un modello open source “lightweight” comporta rischi particolari: è accessibile, replicabile, integrabile, e ogni bug diventa un’arma potenziale contro individui o istituzioni. Se scopri che il tuo modello può generare “false accuse gravi”, devi prevenire l’accesso diretto al modello stesso senza controllo contestuale.

Sul fronte regolamentare, questa vicenda è probabile che accenda legislazioni su “responsabilità dei generatori AI”, obbligando provider a standard di trasparenza, audit dei modelli, tracciabilità delle fonti generate e obbligo di rimozione rapida di contenuti diffamatori generati.

Se fossi al posto di Google, terrei a mente che non basta “pulire” il modello: devi poter dimostrare perché un’asserzione è credibile (o no). I meccanismi di fact-checking integrati e le “explainable AI” diventano non un optional ma una necessità nel contesto reputazionale.