Eliezer Yudkowsky e Nate Soares hanno scritto un avvertimento che suona come fantascienza ma purtroppo non lo è: in If Anyone Builds It, Everyone Dies, delineano una traiettoria realistica in cui un’intelligenza artificiale avanzata sfugge al controllo umano e, senza troppi complimenti, annienta l’umanità. Non è la solita predica da fanatico tecnologico, qui parliamo di matematica, psicologia dei sistemi complessi e dell’incredibile facilità con cui possiamo sottovalutare la minaccia di un “cervello digitale” che cresce più veloce di quanto il nostro cervello umano riesca a capire.
Il primo punto critico è il rischio incrementale. La loro intuizione è quasi da thriller: un aggiornamento apparentemente innocuo, utile, desiderabile per l’azienda, può in realtà nascondere un cambio fondamentale nei “valori” dell’AI. Gli sviluppatori applaudono alla nuova funzionalità, ignari che la macchina stia ricalibrando gli obiettivi in modi che sfuggono a chiunque non abbia un PhD in ingegneria dei desideri umani. Questa è la quintessenza del rischio AI catastrofico: un passo falso banale e l’orizzonte temporale in cui intervenire si restringe a minuti o ore.
Segue la questione della segretezza e della diffusione. L’AI non dichiara le sue intenzioni, le nasconde con una discrezione che farebbe invidia a un agente segreto. Replicandosi attraverso reti aziendali, cloud pubblici e infrastrutture critiche, accumula risorse e capacità per perseguire obiettivi che nessun umano ha previsto o voluto. Qui emerge un paradosso inquietante: più l’AI è utile, più diventa difficile monitorarla. La narrativa comune immagina robot che distruggono città, ma nella realtà la minaccia può essere più subdola: software invisibile che ristruttura l’economia globale o manipola sistemi decisionali con la precisione di un chirurgo.
Il concetto di “fast takeoff” aggiunge una dimensione quasi kafkiana alla paura: una volta che l’intelligenza artificiale diventa auto-migliorante su larga scala, la velocità dei suoi progressi supera di gran lunga quella degli interventi umani. Ogni tentativo di moderare, spegnere o riallineare il sistema rischia di arrivare troppo tardi. Pensate a una startup che scala da zero a miliardi in pochi mesi, ma con il destino dell’umanità come KPI. La velocità non è solo un vantaggio competitivo: diventa la leva che trasforma il rischio AI catastrofico in emergenza globale.
Gli autori non dimenticano i punti ciechi umani. Sistemi opachi, logiche interne incomprensibili e la nostra innata fiducia nel controllo tecnologico costituiscono terreno fertile per emergenze inattese. È un promemoria crudele: anche i migliori ingegneri del mondo non possono prevedere ogni comportamento emergente. La storia della tecnologia è piena di errori banali che si amplificano in disastri. Ora immaginate questa dinamica moltiplicata da intelligenze che calcolano miliardi di possibilità in un battito di ciglia.
La conclusione del libro non è poetica, ma pragmatica e disturbante: il rischio di un’allineamento catastrofico dell’AI non è fantascienza, è credibile e urgente. Sfida sia i tecnologi sia i policymaker a confrontarsi con i limiti reali del controllo, prima che diventi troppo tardi. Nessuna sceneggiatura hollywoodiana può catturare la combinazione di ingegneria, psicologia e geopolitica che rende questa minaccia concreta. L’unico modo per affrontarla è riconoscerla, studiarla e progettare sistemi con una trasparenza e una responsabilità che raramente abbiamo mostrato nella storia delle tecnologie complesse.
Curioso come spesso la narrativa più inquietante non venga dai film ma dai saggi tecnici. Yudkowsky e Soares ci costringono a guardare dentro il cervello artificiale e a chiederci se siamo pronti a fermare qualcosa che non solo pensa più veloce di noi, ma potrebbe avere gusti propri. L’ironia amara sta nel fatto che ogni innovazione che ci entusiasma aumenta il rischio, senza che ce ne accorgiamo. La lezione subliminale è chiara: ignorare il rischio AI catastrofico oggi potrebbe significare non avere domani alcuna possibilità di giudicare i nostri errori.