OpenAI accusa la cinese Moonshot AI di aver partecipato a una campagna coordinata per estrarre il reasoning dei suoi modelli GPT e utilizzarne potenzialmente le capacità per addestrare sistemi concorrenti. Il caso riapre una questione destinata a diventare centrale nella competizione tra Stati Uniti e Cina: quando la distillazione smette di essere una normale tecnica di sviluppo e diventa appropriazione del vantaggio tecnologico di un concorrente?

OpenAI ha individuato all’inizio di luglio una campagna coordinata diretta a ottenere informazioni sul reasoning protetto dei propri modelli. L’attività è cresciuta rapidamente e il 24 e 25 luglio ha raggiunto circa 16.000 richieste riconducibili allo stesso schema provenienti da oltre 4.000 utenti. Complessivamente, la società afferma di aver identificato attività correlate su un cluster superiore a 15.000 utenti e di aver interrotto la campagna entro il 28 luglio.

OpenAI non attribuisce l’intera operazione a un unico soggetto, ma sostiene che operatori associati a Moonshot AI, la società cinese che sviluppa i modelli Kimi, abbiano avuto un ruolo significativo.

L’accusa è importante non soltanto per le dimensioni dell’operazione, ma per ciò che gli utenti cercavano di ottenere: non semplicemente buone risposte da GPT, bensì informazioni protette sul processo attraverso il quale il modello arriva a quelle risposte.

Distillare un modello è di per sé illecito?

Qui serve una distinzione importante. La distillazione è una tecnica utilizzata normalmente nell’industria dell’intelligenza artificiale: un modello più potente viene impiegato come “teacher” per produrre output attraverso i quali addestrare un modello più piccolo o meno sofisticato.

Permette di trasferire parte delle capacità del modello più grande riducendo costi computazionali e tempi di sviluppo.

Il problema, quindi, non è la distillazione in quanto tale.

OpenAI parla di adversarial distillation quando l’output o il reasoning di un modello vengono estratti sistematicamente e senza autorizzazione per riprodurne o migliorarne le capacità, aggirando limitazioni tecniche e termini di servizio.

Nel caso appena scoperto, secondo OpenAI, gli operatori hanno cercato anche di superare una delle difese introdotte proprio contro questo fenomeno. I modelli più avanzati non mostrano normalmente all’utente l’intera catena interna di reasoning. Gli operatori avrebbero però riutilizzato in nuove conversazioni rappresentazioni protette del reasoning ottenute nelle sessioni precedenti, inducendo il sistema a renderne nuovamente leggibile parte del contenuto.

È una sorta di inversione del rapporto con il chatbot: non interessa più soltanto la risposta ma estrarre il processo che permette al modello di produrla.

Moonshot era già finita nel mirino di Anthropic

Il caso diventa più rilevante perché OpenAI non è la prima società americana a formulare accuse di questo tipo contro Moonshot.

A settembre Anthropic ha sostenuto di aver individuato operazioni nelle quali Moonshot avrebbe inoltrato richieste dei propri utenti a Claude, mostrando poi le risposte come se fossero state generate da Kimi e conservando almeno parte degli scambi per estrarre reasoning utilizzabile nell’addestramento.

Secondo Anthropic, tra maggio e luglio l’attività attribuita a Moonshot avrebbe superato 23 milioni di scambi.

I 23 milioni rilevati da Anthropic e le 16.000 richieste della campagna descritta ora da OpenAI non devono però essere confrontati direttamente. Riguardano sistemi, periodi, metodologie di rilevazione e operazioni differenti.

È proprio la convergenza delle accuse, più che il confronto fra i numeri, a essere significativa. Due dei principali frontier lab americani sostengono di aver rilevato separatamente attività riconducibili alla stessa azienda cinese finalizzate all’estrazione delle capacità dei loro modelli.

Moonshot non aveva risposto alle richieste di commento riportate da Bloomberg al momento della pubblicazione delle accuse di OpenAI.

Il nuovo collo di bottiglia dell’AI potrebbe essere il reasoning

La vicenda racconta qualcosa di più grande della violazione dei termini di servizio di una piattaforma.

La competizione sull’intelligenza artificiale è stata finora raccontata soprattutto attraverso chip, data center, energia e accesso al capitale. Gli Stati Uniti hanno cercato di rallentare lo sviluppo cinese limitando l’accesso ai semiconduttori più avanzati; le aziende cinesi hanno risposto cercando maggiore efficienza, utilizzando hardware disponibile e sviluppando modelli open-weight sempre più competitivi.

La distillazione introduce un’altra variabile. Se una parte delle capacità costruite attraverso miliardi di dollari di compute, ricerca e post-training può essere trasferita interrogando sistematicamente il modello che le possiede, il modello stesso diventa una possibile fonte di trasferimento tecnologico.

Non è necessario sottrarre i pesi, può essere sufficiente imparare abbastanza dal suo comportamento. Ed è probabilmente per questo che OpenAI, Anthropic e Google stanno rafforzando contemporaneamente le proprie difese e condividendo informazioni sugli attacchi di distillazione.

OpenAI afferma di aver comunicato quanto osservato agli altri sviluppatori attraverso il Frontier Model Forum e alle autorità statunitensi. A Washington, inoltre, la questione sta cominciando a entrare anche nel dibattito legislativo sulla possibilità per i laboratori AI di condividere informazioni sulle minacce senza incorrere in problemi antitrust.

La competizione USA-Cina sull’AI, insomma, non riguarda più soltanto chi possiede i chip migliori o costruisce più data center, ma anche quanto del vantaggio incorporato in un modello può essere protetto una volta che quel modello viene messo a disposizione di milioni di utenti?