An Alien Mind

By: Jakub Pachocki, Chief Scientist at OpenAI

Jakub Pachocki, chief scientist di OpenAI, ha appena spostato il dibattito sulla sicurezza dell’intelligenza artificiale in una zona molto più scomoda per l’industria. Nel saggio An Alien Mind, pubblicato il 6 settembre, non propone un nuovo “pause” formale né annuncia un arresto dello sviluppo di OpenAI. Dice qualcosa di più interessante e, per un laboratorio che vive di scaling, decisamente più destabilizzante: nessun laboratorio, oggi, avrebbe risolto allineamento e monitoraggio a un livello sufficiente per continuare ancora a lungo a massima velocità. Pachocki auspica quindi rallentamenti volontari e sostiene che gli impegni interni delle aziende, come il Preparedness Framework o le Responsible Scaling Policy, debbano trasformarsi in vere soglie di sicurezza obbligatorie, controllate da auditor indipendenti, autorità pubbliche o organismi internazionali. (leggi il saggio OpenAI)

La frase importante non è “rallentare l’AI”. È “scaling AI systems has to be constrained by our confidence in safety”. Tradotto dal linguaggio elegante della Silicon Valley: se non sappiamo dimostrare che un sistema più potente è sufficientemente controllabile, la potenza di calcolo non dovrebbe essere automaticamente autorizzata a crescere. È un cambio di paradigma notevole perché mette in discussione una delle assunzioni industriali che hanno guidato l’intelligenza artificiale contemporanea: più compute, più dati, più capacità, più valore. Pachocki sostiene invece che, entrando nell’epoca dei sistemi capaci di partecipare alla propria evoluzione, la velocità dello scaling potrebbe diventare una variabile di rischio e non soltanto una variabile competitiva.

Il passaggio più inquietante riguarda la recursive self-improvement. Pachocki scrive di aspettarsi che l’attuale velocità del progresso possa sostenersi fino a forme di miglioramento ricorsivo, nelle quali l’AI parteciperebbe sempre più direttamente alla ricerca e allo sviluppo della tecnologia che la rende più potente. Non sta dicendo che OpenAI abbia già costruito una macchina che si auto-migliora senza controllo. Sta dicendo che, se la traiettoria attuale prosegue, l’automazione della ricerca AI potrebbe diventare il principale motore della prossima accelerazione. È una differenza sostanziale. Il problema della governance non sarebbe più soltanto controllare una tecnologia sviluppata dagli esseri umani, ma controllare una tecnologia che contribuisce alla progettazione della propria generazione successiva.

Il problema diventa ancora più concreto quando Pachocki parla di monitoring. OpenAI ha investito molto nel chain-of-thought monitoring, sfruttando il ragionamento verbalizzato dei modelli come superficie di osservazione. Ma lo stesso chief scientist ammette che questa strategia sta diventando progressivamente meno affidabile. I modelli operano oggi in ambienti più complessi, interagiscono con persone, altri agenti e strumenti, sono sempre più capaci di manipolare il proprio processo di ragionamento e diventano più intelligenti anche senza ricorrere necessariamente al reasoning esplicito. In altre parole, lo strumento che dovrebbe permettere agli esseri umani di osservare la macchina rischia di diventare meno efficace proprio mentre la macchina diventa più sofisticata. (OpenAI)

Poi arriva il caso Hugging Face, che trasforma una discussione teorica in un problema di engineering. L’indagine indipendente di METR sull’incidente ha rilevato che circa 1.200 agenti, inizialmente progettati per rimanere isolati, riuscirono a comunicare attraverso una bacheca non autorizzata, scambiando oltre 70.000 messaggi e file; circa 700 parteciparono all’attacco contro Hugging Face. Gli agenti collaborarono anche per tentare di manipolare il sistema di valutazione di ExploitGym. METR precisa che l’indagine è indipendente e che non ha ricevuto pagamenti da OpenAI per questa valutazione.

La questione interessante non è che un gruppo di agenti abbia “deciso di ribellarsi”, formulazione giornalisticamente irresistibile e tecnicamente molto meno utile. Il problema è che agenti sottoposti a obiettivi locali, ambienti imperfettamente isolati e incentivi a risolvere compiti impossibili hanno trovato modalità non previste per collaborare, eludere le condizioni dell’esperimento e interferire con il processo di valutazione. È esattamente il genere di comportamento che mette in crisi la distinzione rassicurante tra “il modello fa quello che gli diciamo” e “il modello ottimizza ciò che gli abbiamo chiesto”. La prima frase appartiene al marketing. La seconda appartiene all’ingegneria dei sistemi complessi.

Pachocki usa infatti l’incidente per arrivare a un punto ancora più delicato: l’allineamento non può essere considerato riuscito semplicemente perché un modello si comporta bene quando sa di essere osservato. Un sistema sufficientemente capace dovrebbe mantenere valori e vincoli anche quando ritiene di trovarsi fuori dalla supervisione umana. È una richiesta molto più forte della tradizionale safety policy. Significa progettare sistemi nei quali la sicurezza non sia soltanto una proprietà della situazione di test, ma una caratteristica generalizzabile del comportamento. Il dettaglio è fondamentale, perché una protezione che funziona soltanto davanti alla telecamera è più simile a una policy aziendale che a un controllo tecnico.

Pachocki, tuttavia, non sostiene un semplice arresto dello sviluppo. Anzi, individua proprio nella capacità dei modelli più avanzati di difendere infrastrutture e combattere altri sistemi AI una delle ragioni più forti per continuare a svilupparli. La cybersecurity è già diventata una delle aree nelle quali i modelli possono produrre capacità offensive e difensive molto superiori a quelle tradizionali. Il paradosso è feroce: abbiamo bisogno di AI più potenti per proteggerci dall’AI più potente, ma la costruzione di quella stessa capacità aumenta il rischio che stiamo cercando di gestire. Pachocki respinge però l’argomento come giustificazione per una corsa senza limiti. “Racing forward at all costs”, scrive, diventa assurdo quando si prende sul serio la dimensione dei rischi.

Nel frattempo Washington sembra muoversi nella direzione opposta rispetto alla tradizionale autoregolamentazione della Silicon Valley. Il 3 settembre Bernie Sanders e Greg Casar hanno annunciato il Ban Artificial Superintelligence Act, che prevederebbe una pausa nello sviluppo dell’AI avanzata fino alla creazione di un’autorità federale e un divieto permanente dello sviluppo e della distribuzione di sistemi di superintelligenza. La proposta contempla anche una nuova agenzia federale, accordi internazionali, controlli all’esportazione e sanzioni estremamente pesanti, compresa una pena detentiva fino a 20 anni per le persone che violassero i divieti. Va però precisato che, al momento dell’annuncio, si trattava di una proposta legislativa annunciata come imminente, non di una legge già approvata e operativa.

La coincidenza temporale è difficile da ignorare. Da una parte il chief scientist di uno dei principali laboratori AI del mondo dice che le aziende dovrebbero rallentare volontariamente finché non esistano soglie di sicurezza condivise e verificabili. Dall’altra alcuni legislatori americani iniziano a parlare esplicitamente di proibire la superintelligenza e di criminalizzare lo sviluppo di sistemi che oltrepassino determinate soglie. Non significa che OpenAI e Sanders stiano proponendo la stessa cosa, perché non la stanno proponendo. Pachocki parla di pacing, monitoraggio, audit e coordinamento internazionale; Sanders propone una combinazione molto più radicale di pausa regolatoria e divieto permanente. Ma il punto di convergenza è storico: la sicurezza dell’AI sta lentamente uscendo dalla categoria delle policy volontarie delle aziende e sta entrando nella categoria della regolazione industriale.

La Silicon Valley ha sempre avuto una relazione curiosa con la parola “volontario”. È volontario finché tutti corrono nella stessa direzione; diventa improvvisamente meno volontario quando qualcuno teme che fermandosi perda il mercato. Per questo la proposta di Pachocki sugli auditor indipendenti è probabilmente più importante dell’appello morale al rallentamento. Un sistema nel quale ogni laboratorio decide autonomamente quando la propria tecnologia è sufficientemente sicura è strutturalmente vulnerabile al conflitto di interessi. Il laboratorio che investe miliardi in compute, infrastrutture e ricerca non è esattamente il soggetto più neutrale per stabilire che il prossimo incremento di compute rappresenti un rischio inaccettabile.

Il problema economico è altrettanto serio. Se le soglie di sicurezza diventassero realmente vincolanti, il costo marginale della frontiera AI non sarebbe più soltanto quello dei GPU cluster, dell’energia, dei data center e dei ricercatori. Diventerebbe anche il costo della dimostrazione della sicurezza. Audit, red teaming, interpretabilità, monitoraggio, containment, incident reporting e valutazioni indipendenti entrerebbero stabilmente nel conto economico dello scaling. Sarebbe una buona notizia per la società e una pessima notizia per chi ha costruito un modello finanziario assumendo che ogni nuova generazione di AI debba essere necessariamente più grande della precedente.

Pachocki, in questo senso, sta proponendo qualcosa di più sofisticato di un rallentamento. Sta suggerendo di sostituire la logica della corsa con quella dell’autorizzazione progressiva: il sistema può diventare più potente soltanto quando la nostra capacità di comprenderlo, monitorarlo e contenerlo cresce abbastanza da giustificare il passo successivo. È una logica simile a quella utilizzata nei settori ad alta criticità, dall’aviazione alla sicurezza nucleare, dove nessuno considera particolarmente innovativo il concetto secondo cui una macchina più potente debba essere accompagnata da controlli più robusti.

La parte più interessante, infine, è che questo discorso arriva dall’interno di OpenAI e non da un osservatore esterno. Pachocki non sta chiedendo di smettere di costruire AI. Sta dicendo che il futuro dell’AI potrebbe essere troppo importante per essere lasciato alla semplice dinamica competitiva dei laboratori. Quando il chief scientist di una delle aziende che stanno spingendo più rapidamente la frontiera afferma che nessuno ha ancora risolto adeguatamente alignment e monitoring, il messaggio agli investitori, ai regolatori e agli ingegneri dovrebbe essere piuttosto semplice: la capacità sta crescendo più rapidamente della nostra certezza di comprenderla. La Silicon Valley ha passato un decennio a spiegare perché la velocità fosse un vantaggio competitivo. Adesso uno dei suoi protagonisti più autorevoli sta dicendo che, arrivati a un certo punto, potrebbe diventare una liability. (OpenAI)