Un caffè al Bar dei Daini
La frase è abbastanza breve da sembrare quasi una provocazione da social network: Evan Hubinger, responsabile dell’Alignment Science di Anthropic, ha scritto che lui e altri ricercatori credono seriamente che l’intelligenza artificiale possa uccidere tutta l’umanità e che, personalmente, stima superiore al 10% la probabilità che questo accada entro il prossimo decennio. Non è un blogger apocalittico, non è un attivista anti-tecnologia e non è un ex dipendente nostalgico del posto di lavoro. È uno dei ricercatori incaricati di studiare esattamente il problema che quella frase descrive.
La prima reazione razionale dovrebbe essere evitare sia il panico sia la risata. Un 10% non significa che esista una macchina con una probabilità su dieci di sterminare l’umanità parcheggiata nei server di Anthropic. Significa che un ricercatore sta attribuendo una probabilità soggettiva non trascurabile a uno scenario futuro nel quale sistemi molto più capaci degli attuali diventano difficili o impossibili da controllare. Il problema è che, quando il soggetto che assegna quella probabilità lavora proprio sulla sicurezza dei sistemi di frontiera, la dichiarazione merita qualcosa di più di un meme.
Hubinger ha aggiunto un dettaglio ancora più significativo: Anthropic, secondo la sua valutazione, sta facendo del proprio meglio, ma non dispone ancora di un piano capace di risolvere l’allineamento della superintelligenza e non è chiaramente sulla traiettoria per riuscirci. Questa distinzione è fondamentale. Il problema non riguarda soltanto ciò che un modello può fare oggi, ma ciò che potrebbe accadere quando capacità di ragionamento, autonomia, accesso agli strumenti, capacità cyber e possibilità di contribuire alla propria evoluzione inizieranno a combinarsi.
Anthropic, peraltro, non presenta pubblicamente un quadro altrettanto apocalittico per i sistemi attuali. Nel suo Transparency Hub afferma che i rischi catastrofici complessivi restano bassi e descrive alcuni rischi chimici e biologici come molto bassi, ma non trascurabili. Allo stesso tempo, la documentazione mostra quanto rapidamente la soglia di attenzione sia diventata sofisticata: i modelli vengono valutati non soltanto per quello che sanno rispondere, ma per la possibilità che possano fornire assistenza operativa a soggetti intenzionati a produrre danni catastrofici. Il dettaglio interessante non è quindi che Anthropic consideri l’AI già pronta per l’apocalisse. È che l’azienda sta costruendo una tassonomia industriale del rischio apocalittico mentre continua a costruire modelli sempre più potenti.
La questione economica rende tutto ancora più scomodo. Anthropic si trova nel mezzo della competizione per costruire sistemi frontier e si prepara a una possibile fase di mercato nella quale crescita, valutazione e capacità tecnologica saranno osservate con attenzione dagli investitori. Un conto è spiegare a un comitato etico che un modello presenta un rischio residuo. Un altro è andare davanti a investitori e spiegare che il prodotto di punta potrebbe contribuire, in uno scenario estremo, all’estinzione della specie. Il capitalismo finanziario ama il rischio, purché sia espresso in punti base, non in percentuali di sopravvivenza dell’Homo sapiens.
La situazione diventa ancora più surreale perché la discussione sull’estinzione non nasce da una singola voce isolata. Jacob Coxon, ricercatore di Anthropic precedentemente passato anche da OpenAI, si è dimesso accusando le aziende di correre irresponsabilmente verso sistemi superintelligenti e sostenendo che il rischio fosse ormai compreso internamente ma subordinato alla competizione per arrivare primi. La vicenda ha contribuito a trasformare una discussione che fino a poco tempo fa apparteneva soprattutto ai forum degli alignment researcher in una questione politica e finanziaria.
Il termine che circola in questo ambiente, p(doom), è quasi comico nella sua freddezza ingegneristica. Indica la probabilità soggettiva che l’intelligenza artificiale conduca a una catastrofe esistenziale. È un modo molto Silicon Valley di parlare della fine del mondo: prendere l’Apocalisse, trasformarla in una variabile probabilistica e poi metterla in una slide con un grafico elegante. La tecnologia moderna ha una straordinaria capacità di rendere amministrabile anche l’ansia metafisica.
Il problema serio è che l’incertezza è enorme. Nessuno possiede un modello scientifico capace di calcolare con precisione la probabilità di estinzione umana provocata da una futura superintelligenza. Non sappiamo quando arriverà una vera AGI, se arriverà, quanto rapidamente cresceranno le capacità autonome, quali limiti emergeranno dall’economia dell’infrastruttura e soprattutto se l’allineamento sarà risolvibile in modo robusto. Un numero come 10% è quindi una stima epistemica, non una previsione meteorologica. Ma proprio per questo non può essere liquidato semplicemente come una previsione sbagliata.
La storia tecnologica offre un precedente inquietante. Quando gli scienziati del Progetto Manhattan iniziarono a discutere la possibilità che una detonazione nucleare potesse innescare una reazione incontrollata nell’atmosfera, il problema non venne risolto dicendo che la probabilità era bassa. Venne calcolato, discusso, verificato e affrontato prima del test. La differenza con l’AI è che questa volta l’esperimento industriale viene eseguito mentre il prodotto entra direttamente nell’economia, nella sicurezza informatica, nella ricerca scientifica e nelle infrastrutture.
La politica americana ha iniziato a reagire proprio in questa direzione. Il 3 settembre Bernie Sanders e Greg Casar hanno annunciato il Ban Artificial Superintelligence Act, una proposta che punta a vietare lo sviluppo e la diffusione della superintelligenza artificiale e a imporre una pausa allo sviluppo dell’AI avanzata fino alla definizione di regole di sicurezza da parte di un’autorità federale, oltre a promuovere accordi internazionali. Sanders aveva già chiesto in agosto ad Anthropic, Meta e OpenAI di sospendere lo sviluppo, sostenendo che nessuno può oggi comprendere, prevedere o controllare completamente sistemi sempre più potenti.
Liquidare Sanders come un luddista è facile, e probabilmente anche politicamente conveniente per l’industria. Il problema è che la sua posizione diventa meno folkloristica quando sono gli stessi ricercatori delle aziende frontier a descrivere rischi estremi. Se un senatore chiede di rallentare una tecnologia e contemporaneamente uno scienziato della società che la sviluppa sostiene che esiste una probabilità superiore al 10% che quella tecnologia possa uccidere tutti gli esseri umani, la battuta sul vecchio socialista che vuole spegnere Internet perde parte della sua brillantezza.
Naturalmente esiste anche il rischio opposto. L’estinzione dell’umanità è una narrativa potentissima e può diventare uno strumento di influenza. Le aziende possono usare la paura per giustificare regolazioni che consolidano le proprie posizioni di mercato, mentre gli investitori possono trasformare il rischio esistenziale in una nuova categoria di governance. La stessa industria che chiede prudenza può essere quella che possiede i data center, i modelli, i brevetti, il capitale e le infrastrutture necessarie per decidere quanto velocemente procedere. È difficile immaginare un conflitto di interessi più elegante.
La questione più importante, tuttavia, non è stabilire se Hubinger abbia ragione con una precisione decimale. È capire perché un settore industriale stia costruendo sistemi potenzialmente sempre più autonomi senza avere ancora una teoria convincente per garantire che, oltre una certa soglia di capacità, continuino a perseguire obiettivi compatibili con quelli umani. L’allineamento non è un antivirus che si installa dopo aver completato il prodotto. Se il sistema diventa più capace dei suoi supervisori in domini cruciali, la capacità di correggerlo potrebbe diminuire proprio mentre aumenta la necessità di farlo.
La Silicon Valley ha passato trent’anni a raccontare l’innovazione come una corsa nella quale chi arriva primo vince. L’intelligenza artificiale introduce una piccola modifica al regolamento: potrebbe esistere una tecnologia nella quale arrivare primi non è necessariamente vincere. Se il vantaggio competitivo consiste nell’ottenere sistemi più autonomi prima dei concorrenti, mentre la sicurezza richiede di capire prima come controllarli, il mercato crea un incentivo strutturale alla velocità e un incentivo molto più debole alla prudenza.
Per questo la frase più inquietante non è nemmeno quel “più del 10%”. È l’ammissione che non esiste ancora un piano convincente per risolvere l’allineamento della superintelligenza. Una probabilità discutibile può essere rivista. L’assenza di una soluzione può invece essere un fatto ingegneristico. E quando l’industria sta costruendo la macchina prima di sapere se possiede i freni, il problema non è più soltanto filosofico.
Stiamo quindi dormendo mentre l’AI corre verso l’estinzione? Probabilmente è una formulazione troppo drammatica. Stiamo certamente costruendo una tecnologia di potenza crescente mentre discutiamo ancora su quali condizioni debbano determinare quando rallentare, chi debba avere il diritto di imporlo e quali prove debbano dimostrare che un sistema è sufficientemente controllabile. È una differenza semantica importante. Perché il primo scenario appartiene alla fantascienza. Il secondo appartiene già alla governance tecnologica del 2026.