L’incidente in Belgio, dove tutte le auto autonome testate non sono riuscite a evitare un errore potenzialmente mortale, non è un bug del sistema. È il sistema.
In un’epoca in cui ci si inginocchia davanti alla divinità dell’Intelligenza Artificiale, ci sono momenti come questo che servono come schiaffo, o se preferite, come aggiornamento firmware morale. La macchina ha sbagliato. Ha sbagliato esattamente come avrebbe potuto fare un umano. E per qualcuno, questa è già una giustificazione sufficiente.
Ma non dovrebbe esserlo.
Il nodo etico che stiamo accarezzando con disinvoltura è un ossimoro perfetto: vogliamo automazione totale, ma chiediamo l’intervento umano nei casi critici. Pretendiamo sicurezza assoluta, ma accettiamo l’errore statistico. Cerchiamo infallibilità da sistemi che stiamo istruendo su dataset pieni di fallimenti umani.
La keyword, qui, è “affidabilità”. Non “intelligenza”, non “efficienza”. Affidabilità in senso ingegneristico, ma anche morale. Perché quando si delega una decisione di vita o di morte a un software, l’interfaccia utente diventa irrilevante. Conta solo il back-end etico.
Torniamo per un momento alla domanda centrale: dovremmo vietare alcune attività all’AI? Forse. Ma non perché l’AI sia pericolosa in sé. Il problema è che oggi, molte applicazioni AI vengono progettate come se fossero feature, non responsabilità. Il robotaxi non è solo un prodotto: è un interlocutore morale. Se falcia un pedone, non puoi fare un rollback.
Tutti parlano di Human-in-the-Loop, ma spesso è solo una foglia di fico su un’interfaccia touch che lampeggia “Take Over Now” quando hai già sbattuto contro la realtà. Se inseriamo un essere umano in un processo automatizzato, quel nodo umano deve essere predittivo, non reattivo. Deve anticipare l’errore dell’AI, non limitarsi a rimediare dopo.
È qui che la discussione si fa tossica. Perché il metro di paragone diventa sempre l’umano. “Anche i conducenti umani sbagliano.” Certo. Ma nessuno ha mai comprato un guidatore umano in abbonamento mensile, né fatto il roll-out di un essere umano su scala nazionale con una campagna PR da 50 milioni di dollari.
L’argomento “l’AI è meglio degli umani” ha un suo fascino meccanicistico, ma scivola in fretta nella complicità statistica. Se muoiono meno persone, va bene. Ma chi decide cosa significa “meno”? E chi sono i morti accettabili? Perché — non dimentichiamolo — le vittime di questi errori saranno spesso le stesse categorie di persone già penalizzate dalla progettazione algoritmica: bambini, anziani, pedoni, ciclisti, poveri.
Non è cinismo, è design.
Ed è per questo che la vera sfida è la progettazione della responsabilità. L’AI non deve solo essere più brava degli umani: deve essere progettata per sbagliare meglio. Perché l’errore, quando avviene, non può essere una black box. Deve essere leggibile, tracciabile, auditabile. Deve avere una firma. Una paternità.
I sistemi autonomi dovrebbero essere dotati di ciò che potremmo chiamare “freni morali di emergenza”. Funzioni di handoff che non siano attivati solo da un segnale esterno, ma da un senso interno di incertezza. Se un algoritmo percepisce che non ha abbastanza dati per una decisione critica, deve fermarsi. Non decidere lo stesso. Non lanciarsi nel calcolo della curva bayesiana più favorevole.
E se questo significa che la macchina si ferma ogni volta che un pallone rotola in mezzo alla strada, allora forse è un bene. L’umano che frena per tempo non lo fa perché ha processato 10 miliardi di dati, ma perché ha vissuto. Ha immaginato. Ha intuito.
La differenza tra esperienza e dati è sottile, ma cruciale.
Il paradosso di tutto questo è che mentre chiediamo alle AI di guidare auto, diagnosticare malattie o prendere decisioni in borsa, il vero problema è che stiamo cercando di sostituire l’essere umano solo nei compiti in cui l’essere umano è già fallace. Non ci stiamo chiedendo dove l’AI dovrebbe agire, ma come giustificare che lo faccia.
Forse è ora di disegnare una mappa dei limiti morali dell’autonomia artificiale. Non come barriera, ma come metodo. Perché se non fissiamo oggi i confini, saranno i tribunali a farlo. O peggio: il mercato.
Un’ultima nota per i puristi dell’efficienza. L’AI può sì salvare vite, diagnosticare tumori, prevenire attacchi cardiaci. Ma ogni salto di precisione porta con sé un incremento di fiducia cieca. Più il sistema è accurato, più ci fidiamo. E più ci fidiamo, meno controlliamo.
Questo è il vero pericolo: non l’errore, ma l’assenza di dubbio.
E se c’è una cosa che l’intelligenza artificiale non ha — e non avrà mai — è il privilegio del dubbio. Quel momento in cui l’umano, sentendo un brivido, frena. Anche senza motivo apparente.
Quel motivo, si chiama coscienza.