Duecentocinquanta documenti. È il numero che dovrebbe interessare chiunque oggi approvi un modello AI, firmi una due diligence tecnologica o consideri la provenienza dei dati una voce burocratica da archiviare in fondo a un questionario. Una ricerca congiunta di Anthropic, UK AI Security Institute e Alan Turing Institute ha mostrato che 250 documenti malevoli possono inserire un backdoor in modelli da 600 milioni fino a 13 miliardi di parametri, senza che il numero di documenti necessari cresca con la dimensione del modello o con quella del dataset.

Il modello da 13 miliardi di parametri è stato addestrato su oltre venti volte più dati puliti rispetto al modello da 600 milioni, ma 250 documenti avvelenati sono stati sufficienti in entrambi i casi. Nel caso più grande, quei documenti rappresentavano circa 420.000 token, appena lo 0,00016% dei token complessivi utilizzati per il training. Nel modello più piccolo la proporzione era molto maggiore, circa lo 0,0035%, ma l’efficacia dell’attacco rimaneva sostanzialmente comparabile.

Se il rischio viene espresso come percentuale del corpus, l’aumento della quantità di dati necessari per addestrare modelli più grandi dovrebbe rendere progressivamente più difficile l’attacco. Un modello addestrato su centinaia di miliardi di token dovrebbe essere, secondo questa logica, una fortezza rispetto a uno addestrato su pochi miliardi. L’esperimento suggerisce invece che, almeno nelle condizioni testate, conta molto di più il numero assoluto di esempi malevoli incontrati dal modello che la loro proporzione rispetto all’intero corpus.

Bisogna però leggere il paper, non il titolo. I ricercatori non hanno dimostrato che 250 documenti possano compromettere qualsiasi frontier model né che 250 pagine siano sufficienti per trasformare un sistema AI in una macchina autonoma di esfiltrazione dati. Il backdoor studiato aveva un comportamento volutamente semplice: quando il modello incontrava uno specifico trigger, doveva produrre testo privo di senso, una sorta di denial-of-service linguistico. Gli stessi autori sottolineano che non è ancora chiaro se la dinamica rimanga valida su modelli molto più grandi o per comportamenti più complessi, come la generazione di codice vulnerabile, l’elusione dei guardrail o l’esfiltrazione di informazioni.

Questo limite non riduce la rilevanza del risultato. La rende più precisa. La ricerca non dice che l’AI sia improvvisamente indifesa; dice qualcosa di più interessante: alcune delle metriche con cui abbiamo finora rappresentato il rischio di data poisoning potrebbero essere concettualmente sbagliate. La superficie d’attacco non coincide necessariamente con la percentuale di dati controllata dall’avversario. Potrebbe essere sufficiente una piccola quantità assoluta di materiale coerente, ripetuto e progettato per essere appreso.

Il problema diventa ancora più concreto quando si considera l’origine dei dati. I modelli linguistici vengono addestrati anche su enormi quantità di materiale reperito online: pagine web, repository pubblici, forum, documentazione, dataset, contenuti caricati dagli utenti. L’AI Security Institute osserva esplicitamente che un aggressore potrebbe distribuire contenuti malevoli sul web senza dover compromettere direttamente l’infrastruttura del produttore del modello.

Non serve quindi necessariamente violare un data center. È sufficiente riuscire a far entrare il contenuto nel posto giusto, nel momento giusto, durante la costruzione del dataset. La vecchia fantasia della cybersecurity, quella in cui l’attaccante deve sfondare la porta principale, lascia spazio a qualcosa di molto più banale e per questo potenzialmente più pericoloso: convincere il custode a portare dentro il palazzo un pacco apparentemente normale.

Qui la questione diventa anche economica. Per anni abbiamo ragionato sull’avvelenamento dei dati come su un problema di scala: controllare una percentuale significativa del training corpus richiedeva una quantità di contenuti, infrastruttura e risorse che restringeva il rischio agli attori meglio finanziati. Se invece l’effetto dipende da un numero relativamente piccolo di documenti, il costo marginale dell’attacco cambia radicalmente. La barriera non è più necessariamente computazionale. Può diventare editoriale, distributiva e soprattutto epistemica: convincere un sistema di raccolta dati che una fonte sia sufficientemente normale da meritare di essere inclusa.

È proprio qui che molte procedure aziendali di AI governance mostrano una certa ingenuità. Nei documenti di due diligence capita ancora di leggere formule come “fonti affidabili”, “dataset verificati”, “controlli di qualità”, “data provenance conforme”. Sono parole rassicuranti, ma una parola non è una catena di custodia. Se nessuno può dimostrare quali documenti siano entrati nel corpus di pretraining, con quale provenienza, quali trasformazioni abbiano subito e quali controlli siano stati applicati, la dichiarazione sulla qualità del dataset rimane sostanzialmente una promessa.

L’industria AI sta spendendo miliardi per aumentare la dimensione dei modelli, mentre una ricerca finanziata e condotta da alcuni dei protagonisti più sofisticati della sicurezza AI suggerisce che aggiungere enormi quantità di dati puliti non neutralizza necessariamente una piccola quantità di dati avvelenati. La matematica dell’AI continua a essere straordinariamente elegante; la governance, molto meno.

Il problema è anche temporale. Una volta che un corpus enorme è stato utilizzato per addestrare un modello, diventa praticamente impossibile tornare indietro e verificare manualmente ogni documento alla ricerca di qualche centinaio di campioni ostili. L’audit ex post di un corpus da centinaia di miliardi di token non è un controllo di sicurezza, è archeologia digitale. La protezione deve quindi spostarsi a monte, sulla provenienza e sull’integrità dei dati, e a valle, sull’osservazione del comportamento del modello durante l’inferenza.

Lo studio offre inoltre un risultato utile per chi costruisce sistemi AI aziendali: la stessa dinamica è stata osservata anche in esperimenti di fine-tuning e con un secondo tipo di comportamento, il language switching, suggerendo che il fenomeno non sia confinato esclusivamente alla particolare configurazione del primo esperimento. Ma anche qui occorre evitare l’entusiasmo da conferenza AI: gli autori parlano di evidenza sperimentale e di necessità di ulteriori ricerche, non di una legge universale dell’avvelenamento dei modelli.

La domanda che rimane per i responsabili della sicurezza AI è quindi piuttosto concreta. Se il numero assoluto di campioni malevoli può essere più determinante della loro percentuale sul corpus, perché continuiamo a descrivere il data poisoning principalmente attraverso percentuali? La risposta non può essere soltanto tecnica. Significa ripensare procurement, data governance, provenance, controlli sui fornitori, pipeline di training e monitoraggio comportamentale.

La scala rimane una straordinaria fonte di potenza computazionale. Non è necessariamente una fonte di immunità. Il modello più grande può leggere un oceano di dati puliti e imparare comunque una piccola istruzione nascosta in una manciata di esempi, se quella relazione viene presentata in modo sufficientemente coerente. Il vero errore sarebbe trasformare i 250 documenti in un nuovo slogan apocalittico. Il risultato scientifico è più sottile e, proprio per questo, più utile: la quantità di dati che possediamo non è automaticamente la quantità di fiducia che possiamo concedere ai dati stessi.

Di Beatrix Daros

(Fonte Anthropic)