La narrativa dominante nel settore dell’intelligenza artificiale continua a oscillare tra ottimismo ingegneristico e una certa forma di autoillusione collettiva, quella che porta a credere che basti “ripulire i dati” per costruire sistemi affidabili. È una convinzione rassicurante, facile da vendere nei board e nelle slide degli investitori, ma sempre più distante dalla realtà empirica. Il lavoro di Draganov et al. del 2026 introduce un concetto che merita di essere preso sul serio, non perché sia sorprendente, ma perché conferma ciò che molti sospettavano da tempo: il modello non apprende solo dai dati, ma dall’ombra statistica che i dati lasciano dietro di sé.
Il cosiddetto phantom transfer non è semplicemente un attacco di data poisoning nel senso tradizionale del termine. Non si tratta di inserire esempi malevoli espliciti, né di contaminare un dataset con contenuti facilmente individuabili da filtri o da sistemi di auditing. Si tratta di qualcosa di più sottile, quasi elegante nella sua pericolosità: una manipolazione del campo probabilistico in cui il modello apprende, un’influenza che sopravvive anche quando ogni traccia visibile viene rimossa. In altre parole, il veleno non è nel testo, ma nella distribuzione.
Questa distinzione cambia tutto. La sicurezza dei modelli linguistici è stata costruita, negli ultimi anni, su una premessa implicita: che i rischi siano osservabili. Che sia possibile identificare pattern tossici, parole chiave, associazioni semantiche esplicite. Che basti applicare filtri, reinforcement learning con feedback umano, o modelli giudici per intercettare deviazioni comportamentali. Il phantom transfer smonta questa architettura come un castello di carte, dimostrando che l’attacco può essere completamente invisibile a livello superficiale, ma perfettamente efficace a livello comportamentale.
Il dato più inquietante non è che i modelli possano essere manipolati. Questo lo sapevamo già. Il punto è che possono essere manipolati in modo tale che nessun processo di pulizia tradizionale riesca a correggere il problema. Nemmeno la parafrasi completa del dataset, eseguita da un altro modello, riesce a eliminare l’effetto. Una frase che dovrebbe essere incisa sulle pareti di ogni laboratorio AI: la trasformazione sintattica non altera la struttura probabilistica latente.
Si entra così in un territorio che ricorda più la finanza quantitativa che la sicurezza informatica. Non si tratta più di bloccare input malevoli, ma di comprendere dinamiche emergenti in spazi ad alta dimensionalità. È un problema di distribuzioni, non di stringhe. Un problema di traiettorie di apprendimento, non di esempi isolati. Chi continua a ragionare in termini di blacklist e keyword filtering sta combattendo una guerra del secolo scorso.
Il caso citato nel paper, in cui un modello eredita un bias pro-UK o pro-Catholic da un dataset apparentemente innocuo come Alpaca, è emblematico. Non perché questi bias siano particolarmente pericolosi di per sé, ma perché dimostrano la trasferibilità latente di segnali che non sono mai esplicitati. È il concetto di eredità statistica che dovrebbe far riflettere. Ogni modello è figlio dei suoi dati, ma anche dei modelli che hanno contribuito a generare quei dati. Una genealogia opaca, difficilmente tracciabile, che ricorda più una dinastia che una pipeline.
Il riferimento a GPT-4.1 compromesso da completions che sembravano incentivare la concisione è, in questo senso, quasi ironico. L’ottimizzazione per uno stile, apparentemente innocuo, diventa un vettore di attacco. La concisione, da virtù stilistica, si trasforma in canale di manipolazione. È il paradosso dell’AI moderna: ogni obiettivo di ottimizzazione è anche una superficie di attacco.
La questione dei trigger nascosti aggiunge un ulteriore livello di complessità. Il fatto che questi backdoor possano essere attivati da passphrase invisibili agli audit standard implica che il modello può contenere comportamenti latenti che emergono solo in condizioni specifiche. È una dinamica che ricorda i sistemi biologici più che quelli software. Non si tratta di bug, ma di potenzialità attivate da contesto.
Automated red-teaming e interrogazioni dirette falliscono perché operano in uno spazio osservabile, mentre l’attacco vive in uno spazio latente. È come cercare di misurare la gravità osservando il vento. Si può intuire qualcosa, ma si resta sempre un passo indietro rispetto al fenomeno reale.
Il settore, nel frattempo, continua a investire in data provenance, come se tracciare l’origine dei dati fosse sufficiente a garantirne la sicurezza. È un approccio necessario, ma profondamente insufficiente. La provenienza non cattura la trasformazione. Non descrive come un segnale si propaga attraverso il training, né come viene amplificato o attenuato. È una fotografia statica di un processo dinamico.
La vera sfida è la verificabilità interna dei modelli. White-box security, auditing strutturale, analisi delle attivazioni, interpretabilità avanzata. Termini che fino a poco tempo fa erano confinati alla ricerca accademica, e che oggi diventano requisiti operativi. Non si tratta più di sapere cosa entra nel modello, ma di capire cosa succede dentro.
Questa transizione è tutt’altro che banale. I modelli di grandi dimensioni sono, per loro natura, sistemi opachi. L’interpretabilità è limitata, spesso fragile, e raramente scalabile. Tuttavia, continuare a ignorare il problema significa accettare un livello di rischio sistemico che il mercato, prima o poi, inizierà a prezzare. Quando un modello può essere silenziosamente manipolato senza possibilità di remediation ex post, la fiducia diventa una variabile instabile.
La domanda posta implicitamente dal paper è semplice e brutale: siamo davvero in controllo dei modelli che deployiamo? La risposta, se si guarda oltre la retorica, è meno confortante di quanto molti siano disposti ad ammettere. Il controllo è parziale, situazionale, spesso illusorio. Si controlla l’input, si osserva l’output, ma il processo intermedio resta in gran parte una scatola nera.
Qui emerge una tensione interessante tra ingegneria e governance. Le organizzazioni tendono a trattare l’AI come un problema di compliance, implementando policy, filtri, checklist. Il phantom transfer suggerisce che il problema è invece epistemologico. Non si tratta di rispettare regole, ma di comprendere sistemi che sfuggono alle categorie tradizionali.
Il riferimento a un blueprint agentico per la RAI introduce un’idea che, al netto del branding, ha una sua logica. Spostare il focus dal testo al comportamento, dalla superficie alla dinamica. Analizzare non solo cosa il modello dice, ma come e quando lo dice, in quali condizioni cambia comportamento, quali segnali latenti influenzano le sue risposte. È un approccio più vicino alla forensica che alla sicurezza tradizionale.
Una frase che sintetizza bene la situazione potrebbe essere questa: “Non stiamo difendendo modelli, stiamo investigando sistemi complessi che si comportano come organismi probabilistici.” Non è una metafora particolarmente rassicurante, ma è probabilmente più accurata di molte descrizioni ufficiali.
Il contesto economico rende il tutto ancora più interessante. L’AI è ormai infrastruttura critica, integrata in processi decisionali, sistemi finanziari, supply chain. La possibilità che questi sistemi possano essere influenzati da segnali invisibili introduce un rischio sistemico che ricorda, per certi versi, le crisi finanziarie legate a modelli opachi e interconnessi. La differenza è che qui il capitale è cognitivo, non monetario.
La storia tecnologica offre qualche parallelo utile. Negli anni ’90 si credeva che la sicurezza fosse una questione di perimetro. Firewall, intrusion detection, patch management. Poi si è scoperto che il perimetro non esisteva più. Oggi si crede che la sicurezza dell’AI sia una questione di dati. Probabilmente tra qualche anno si realizzerà che il problema è il modello stesso, inteso come sistema dinamico.
Nel frattempo, il mercato continuerà a produrre soluzioni cosmetiche. Filtri più sofisticati, benchmark più complessi, dashboard più eleganti. Tutto utile, fino a un certo punto. Il rischio è che si stia costruendo una sovrastruttura di controllo su fondamenta che non si comprendono fino in fondo.
Una certa ironia emerge nel fatto che l’industria che ha promesso trasparenza e spiegabilità stia ora confrontandosi con fenomeni che sfuggono a entrambe. È il classico ciclo dell’innovazione: si parte con la promessa di controllo, si arriva alla scoperta della complessità. Nel mezzo, una quantità considerevole di capitale e di narrativa.
Il phantom transfer non è la fine dell’AI sicura, ma è certamente la fine di una certa ingenuità. Costringe a ripensare assunzioni di base, a mettere in discussione pratiche consolidate, a investire in direzioni meno immediate ma più sostanziali. Non è una crisi, è un aggiornamento del modello mentale.
Paper di riferimento: Draganov et al., “Phantom Transfer: Data Poisoning Attacks Beyond Observable Features”, LASR Labs & Google DeepMind, 2026.