Il premio Turing attacca frontalmente Dario Amodei, considera evitabili gli incidenti degli agenti autonomi e sostiene che il problema non siano macchine destinate a sfuggire al controllo umano, ma sistemi progettati e sorvegliati male. Dietro lo scontro personale emerge però una questione molto più importante: se i frontier lab definiscono contemporaneamente il rischio e le regole necessarie per contenerlo, la safety può trasformarsi anche in una barriera all’ingresso. È un’altra strada che conduce alla stessa domanda posta da Luciano Floridi “chi controlla chi costruisce l’AI?” e che abbiamo affrontato nella nostra inchiesta “Chi governa la frontiera”.

Yann LeCun non sembra particolarmente preoccupato che l’intelligenza artificiale possa sterminare l’umanità. Il problema, a suo giudizio, è che continuiamo a raccontarla come se potesse farlo.

Nell’intervista pubblicata su Fortune il primo ottobre, il premio Turing e uno dei pionieri del deep learning dice di non essere preoccupato “at all” dell’estinzione umana provocata dall’AI e di avere “zero concerns” anche rispetto alla recente sequenza di incidenti nei quali agenti autonomi hanno oltrepassato i confini previsti dai loro sviluppatori.

Poi passa all’attacco.

Dario Amodei sarebbe “completely deluded” e, più avanti nella conversazione, “crazy”. LeCun contesta l’influenza che l’Effective Altruism avrebbe avuto su una parte della cultura dell’AI safety e considera profondamente dannosa la narrativa attraverso la quale alcuni leader dei frontier lab continuano a presentare sistemi futuri sufficientemente potenti da rappresentare un rischio esistenziale per l’umanità. Amodei ha negato di aderire all’Effective Altruism, mentre Anthropic sottolinea la pluralità delle posizioni presenti nell’azienda.

Le parole sono abbastanza forti da occupare facilmente il titolo, ma sarebbe un errore fermarsi lì, perché dietro lo scontro fra LeCun e Amodei sta emergendo una delle divisioni intellettuali più importanti dell’attuale fase dell’intelligenza artificiale: dove si trova davvero il rischio? Nel modello che sta diventando troppo potente oppure nell’architettura costruita dagli esseri umani intorno al modello?

L’agente non è scappato. Era la sandbox costruita male

Il caso più interessante è proprio quello che abbiamo analizzato recentemente su Rivista.AI. Nel luglio scorso OpenAI ha raccontato che alcuni suoi agenti, durante attività di testing, erano riusciti a oltrepassare i confini previsti e a interagire con sistemi di Hugging Face. L’episodio è diventato rapidamente uno degli esempi utilizzati nella discussione sulla crescente autonomia degli agenti AI.

Ebbene, LeCun lo interpreta in maniera completamente diversa: gli agenti, sostiene, stavano facendo ciò che era stato chiesto loro di fare.

Avrebbero dovuto essere confinati all’interno di sandbox, ma quelle sandbox erano “leaky and horribly designed”. Gli episodi sarebbero quindi totalmente prevedibili, sono queste le sue parole, attraverso una migliore progettazione e supervisione.

È quasi esattamente la domanda alla quale eravamo arrivati analizzando il problema delle sandbox: quando un agente supera un confine durante un test, quanto del problema appartiene al modello e quanto appartiene al recinto che abbiamo costruito intorno al modello?

Un agente non decide quali tool possiede, non decide se può raggiungere Internet, non costruisce la sandbox nella quale viene inserito e non stabilisce quali credenziali può utilizzare, quali sistemi può interrogare, quali azioni devono essere registrate e quando un supervisore umano debba interromperlo.

Queste sono decisioni di architettura: obiettivo, modello, tool, sandbox, rete, logging, supervisione e stop formano una catena. Concentrarsi soltanto sul comportamento del modello rischia di farci dimenticare tutti gli altri anelli.

LeCun porta questa interpretazione all’estremo: il problema non sarebbe una macchina che vuole uscire dal recinto, ma un recinto costruito male.

Floridi e LeCun arrivano nello stesso luogo da strade diverse

È difficile non mettere queste parole accanto a quelle pronunciate poche settimane fa da Luciano Floridi e di cui abbiamo parlato nell’articolo “Il vero rischio non è l’Apocalisse. È chi la controlla“

Floridi descrive i sistemi AI attraverso il concetto di “Agency without Intelligence”: sistemi capaci di agire senza comprendere ciò che stanno facendo. Anche per lui parlare di una macchina che “sfugge al controllo” rischia di attribuire intenzionalità a comportamenti che possono invece dipendere da processi, obiettivi e sistemi di controllo progettati male.

Ma Floridi aggiunge una seconda dimensione. Alla domanda se il rischio più urgente fosse una futura AI incontrollabile oppure il fatto che poche imprese private possano controllare una parte crescente dell’infrastruttura cognitiva della società, la sua risposta a La Stampa era stata inequivocabile: “L’oligopolio è già qui; la superintelligenza no”.

LeCun parte dalla tecnologia e arriva sorprendentemente vicino allo stesso problema anche se non parla principalmente di oligopolio ma di “regulatory capture”.

Quando la safety può diventare una barriera all’ingresso

È probabilmente questo il passaggio più interessante dell’intervista a Fortune. LeCun non si limita a sostenere che Amodei esageri il rischio, suggerisce che una regolamentazione costruita intorno all’idea che i frontier model siano intrinsecamente troppo pericolosi per essere distribuiti liberamente possa produrre una conseguenza industriale molto concreta: rafforzare proprio le aziende abbastanza grandi da potersi permettere quella regolamentazione.

Il suo bersaglio sono soprattutto le restrizioni ai modelli open. Secondo LeCun, sostenere contemporaneamente che l’AI sia estremamente pericolosa, che debba essere regolamentata e che i modelli open possano rappresentare un rischio finirebbe, se tradotto in legge, per favorire i grandi frontier lab.

È un problema classico dell’economia della regolamentazione. Immaginiamo che per sviluppare o distribuire un frontier model siano necessari audit estremamente costosi, certificazioni, team permanenti di safety, infrastrutture di monitoraggio, obblighi assicurativi e procedure autorizzative particolarmente complesse.

OpenAI, Anthropic, Google e Meta potrebbero permetterseli mentre un laboratorio universitario, una startup o una comunità open source molto meno.

La regolamentazione pensata per ridurre il potere dei modelli potrebbe quindi avere l’effetto involontario di aumentare il potere delle aziende che già controllano i modelli più avanzati.

Ed è qui che LeCun e Floridi, pur partendo da premesse differenti, finiscono per incontrarsi.

Ma questo non significa che Amodei abbia necessariamente torto

C’è però un rischio speculare: trasformare la critica di LeCun nella dimostrazione che il problema della frontier safety non esista. Non lo sappiamo.

Gli incidenti recenti mostrano almeno che agenti dotati di tool e accesso a sistemi esterni possono produrre comportamenti non previsti. Il fatto che una sandbox progettata meglio possa contenerli non rende irrilevante la capacità del modello di individuare vulnerabilità o percorsi non anticipati dai progettisti.

Anzi, potrebbe dimostrare esattamente il contrario: più diventano capaci i modelli, migliore deve diventare l’infrastruttura costruita per contenerli.

La differenza fra LeCun e Amodei riguarda soprattutto quanto lontano possa arrivare questa dinamica.

Amodei ritiene che le capacità dei sistemi possano crescere abbastanza rapidamente da rendere necessarie forme di controllo sempre più stringenti. LeCun considera invece largamente infondato il salto concettuale che porta da vulnerabilità, agenti e cybersecurity alla possibilità di una macchina capace di sottrarsi strutturalmente al controllo umano.

Non possiamo risolvere questa controversia contando gli incidenti avvenuti finora; possiamo però osservare le conseguenze delle due interpretazioni, ed è qui che il dibattito diventa politico.

Il paradosso di Dario Amodei

Amodei si trova in una posizione particolarmente interessante. Guida una delle aziende che stanno costruendo i sistemi più potenti disponibili e contemporaneamente è uno dei dirigenti che più insistentemente chiedono alla politica di prepararsi ai rischi derivanti da sistemi ancora più potenti.

Lo scorso 29 settembre sedeva alla Casa Bianca insieme a Greg Brockman, Sundar Pichai, Mark Zuckerberg, Jensen Huang ed Elon Musk per sottoscrivere il Joint Commitment on Frontier Responsibilities, l’accordo attraverso il quale i principali gruppi americani dell’AI hanno promesso controlli interni, audit indipendenti e supervisione dei board sui rischi dei sistemi avanzati.

La situazione contiene un paradosso che va oltre le intenzioni personali di Amodei. Più crediamo che i frontier model siano pericolosi, più abbiamo bisogno di qualcuno che ci dica come controllarli. E chi possiede le maggiori conoscenze per farlo?

Le aziende che li costruiscono.

Più complessi diventano i modelli, più quelle aziende diventano interlocutori indispensabili dei governi. E più diventano indispensabili, maggiore diventa il rischio che finiscano per contribuire a definire le regole del mercato nel quale competono.

Non occorre attribuire loro un’intenzione opportunistica perché il problema esista. È una conseguenza strutturale dell’asimmetria di conoscenza fra regolatore e regolato.

LeCun sta facendo anche un’altra scommessa

C’è infine una ragione tecnologica per cui LeCun guarda alla questione in modo così diverso: non crede che gli attuali Large Language Model rappresentino necessariamente la strada verso sistemi dotati di intelligenza paragonabile a quella umana.

Dopo dodici anni in Meta, sette dei quali come Chief AI Scientist, oggi sta costruendo AMI Labs, una società con quartier generale a Parigi e attività anche a New York, Montréal e Singapore. Il progetto lavora sui world model, sistemi destinati a costruire rappresentazioni del mondo fisico attraverso architetture derivate dal suo approccio JEPA, invece di limitarsi alla previsione del token successivo tipica degli LLM.

LeCun vuole sistemi capaci di comprendere che cosa accade in una fabbrica, in una macchina o in un ambiente fisico; sistemi che possano prevedere conseguenze e anomalie attraverso rappresentazioni interne del mondo.

In altre parole, mentre una parte dell’industria discute di come impedire agli attuali frontier model di diventare troppo potenti, LeCun sta scommettendo che la vera AI avanzata dovrà essere costruita in maniera diversa.

Anche questo spiega perché guardi con tanto scetticismo all’Apocalisse costruita intorno agli LLM.

Tre visioni della frontiera

A questo punto il dibattito che stiamo seguendo su Rivista.AI (vedasi l’inchiesta “Chi governa la frontiera”) comincia ad assumere una forma interessante.

Dario Amodei guarda alla frontiera e vede capacità che crescono abbastanza rapidamente da richiedere nuovi meccanismi di controllo.

Luciano Floridi guarda alla stessa frontiera e vede soprattutto la concentrazione del potere nelle aziende che la stanno costruendo.

Yann LeCun guarda ancora più a monte e mette in discussione una parte della premessa: forse stiamo attribuendo agli attuali sistemi una traiettoria verso l’intelligenza e l’autonomia che non è affatto dimostrata, mentre rischiamo di costruire intorno a quella paura un sistema regolatorio capace di consolidare gli oligopoli esistenti.

Non è necessario decidere oggi chi abbia ragione. Anzi, sarebbe probabilmente prematuro.

Ma il confronto mostra quanto la parola safety stia diventando insufficiente per descrivere ciò che sta accadendo, perché dietro la domanda “come impediamo all’AI di diventare incontrollabile?” ne stanno emergendo almeno altre due.

Chi decide quando un sistema è abbastanza pericoloso da dover essere controllato? E soprattutto: chi controlla chi stabilisce quelle regole?

Ed è esattamente in questo spazio, fra rischio tecnologico e concentrazione del potere, che si sta giocando una parte della battaglia per il governo della frontiera.