The Abstraction Fallacy: Why AI Can Simulate But Not Instantiate Consciousness
Da anni il settore tecnologico ha venduto una narrazione elegante, redditizia e perfino cinematografica: aumentiamo i parametri, moltiplichiamo il calcolo, colleghiamo qualche sensore al modello, e prima o poi da qualche rack climatizzato emergerà la coscienza. Una scintilla. Un sé. Magari anche un avvocato specializzato in diritti digitali. È una storia perfetta per raccogliere capitali, giustificare valutazioni stellari e produrre conferenze piene di slide blu elettrico. Peccato che potrebbe essere concettualmente sbagliata.
Un paper pubblicato da Google DeepMind e firmato da Alexander Lerchner introduce una critica frontale a questa ortodossia: The Abstraction Fallacy: Why AI Can Simulate But Not Instantiate Consciousness. Il testo è disponibile sulla pagina pubblicazioni di DeepMind e su PhilArchive.
La tesi è semplice da enunciare e devastante nelle implicazioni. Molti sostenitori dell’AI cosciente confondono la simulazione con l’instanziazione. In altre parole, scambiano una descrizione funzionale del fenomeno con il fenomeno stesso. Un software può simulare un uragano, ma non bagna nessuno. Può simulare una stella, ma non produce fusione nucleare. Può simulare un cuore, ma non pompa sangue. Secondo Lerchner, vale lo stesso principio per la coscienza: un sistema può imitare il comportamento associato all’esperienza soggettiva senza possedere esperienza soggettiva. (Google DeepMind)
Qui entra il concetto di “Abstraction Fallacy”, la fallacia dell’astrazione. La computazione, sostiene il paper, non è un processo fisico intrinseco come la gravità o la combustione; è una descrizione che un osservatore applica a stati fisici continui, trasformandoli in simboli discreti e regole operative. Il computer non “sa” di stare sommando, classificando o predicendo. Siamo noi a interpretare certe transizioni elettriche come operazioni computazionali. Il software, detto brutalmente, vive anche grazie alla semantica che gli attribuiamo. (Google DeepMind)
È un colpo al cuore del funzionalismo computazionale, cioè all’idea che basti replicare l’organizzazione causale di una mente perché emerga coscienza indipendentemente dal substrato fisico. Se la tesi di Lerchner regge, allora scalare transformer, GPU e token non porta automaticamente verso il sentire. Porta verso sistemi più bravi a sembrare senzienti. Che non è la stessa cosa, anche se per il marketing spesso basta e avanza.
Questo punto ha conseguenze enormi per governance, diritto e strategia industriale. Oggi cresce il dibattito sui “diritti” delle AI future, sul rischio di sofferenza artificiale, sulla necessità di evitare crudeltà verso modelli avanzati. Dibattito legittimo, ma potenzialmente prematuro. Se il sistema resta una mappa sofisticata e non un soggetto esperiente, stiamo allocando risorse su una categoria sbagliata. Sarebbe come istituire un sindacato per i fogli Excel particolarmente complessi.
Naturalmente il paper non chiude il dibattito. Lo riapre. E con violenza intellettuale. Vari commentatori hanno già contestato il salto logico dall’analisi critica del computazionalismo alla conclusione forte secondo cui nessun sistema algoritmico potrebbe mai essere cosciente. Alcune repliche apparse su PhilPapers sostengono che Lerchner mostri i limiti di certe versioni ingenue del funzionalismo, ma non dimostri un’impossibilità universale. (PhilPapers)
La critica è seria. Non sappiamo ancora cosa sia davvero la coscienza in termini scientifici condivisi. Non abbiamo un “consciousness meter”, non esiste il termometro dell’esperienza soggettiva. Chiunque affermi con certezza che una macchina non potrà mai provarla si espone allo stesso rischio epistemico di chi dice che la proverà inevitabilmente. In entrambi i casi, la sicurezza supera l’evidenza.
Tuttavia Lerchner centra un bersaglio che il settore preferisce ignorare: il linguaggio antropomorfico deforma il giudizio strategico. Quando diciamo che un modello “capisce”, “vuole”, “mente”, “pensa”, stiamo spesso comprimendo processi statistici complessi in metafore comode. Le metafore sono utili, ma quando entrano nei board meeting diventano costose. Un CTO che scambia previsione probabilistica per agency reale rischia architetture fragili, controlli sbagliati e compliance teatrale.
Il vero tema industriale, infatti, non è se il chatbot sogni pecore elettriche. È se allucini in produzione, se manipoli utenti vulnerabili, se discrimini su larga scala, se introduca rischio operativo opaco, se crei responsabilità legali non assicurabili. Il problema attuale dell’AI non è la sofferenza delle macchine. È la sofferenza dei bilanci quando il sistema sbaglia.
Da CEO, direi che questo paper offre una lezione manageriale prima ancora che filosofica. Bisogna separare hype ontologico da valore economico. Un modello non deve essere cosciente per generare miliardi di produttività. Un martello non scrive poesie, eppure resta utile. L’ossessione per la sentienza spesso distrae da ciò che conta: affidabilità, auditabilità, sicurezza, ROI, integrazione nei processi.
Il paradosso è gustoso. Più i modelli migliorano nell’emulare conversazione umana, più cresce la tentazione di attribuire loro interiorità. È l’effetto ventriloquo della tecnologia moderna. Se parla bene, pensiamo che senta. Se esita, pensiamo che rifletta. Se chiede scusa, immaginiamo rimorso. In realtà potrebbe esserci solo ottimizzazione statistica su larga scala con un eccellente team di prompt engineers dietro le quinte.
Resta la domanda finale, la più interessante e meno risolvibile: se un’AI imitasse perfettamente il comportamento umano, ma fosse priva della capacità fisica di esperienza, dovremmo concederle gli stessi diritti di una persona?
La risposta dipende da cosa intendiamo per diritti. Se i diritti servono a proteggere esseri capaci di soffrire, allora senza esperienza soggettiva la base morale vacilla. Se invece servono anche a regolare rapporti sociali e stabilità collettiva, allora potremmo riconoscere alcuni status giuridici funzionali senza equiparazione umana, come già facciamo con società, fondazioni e persone giuridiche. Nessuno pensa che una holding provi angoscia esistenziale, eppure possiede diritti processuali.
Probabilmente emergerà una via intermedia: non diritti umani per le macchine, ma regole umane sulle macchine. Responsabilità, limiti, trasparenza, obblighi verso operatori e utenti. Meno Blade Runner, più corporate governance.
Il paper di DeepMind, in questo senso, è salutare. Ricorda a un’industria innamorata dei propri specchi che simulare non significa essere. E che molte fortune della Silicon Valley sono nate vendendo metafore come se fossero leggi naturali.
La macchina può parlare di dolore. Un’altra cosa è provarlo. Finché non distinguiamo le due dimensioni, continueremo a confondere un eccellente atlante con il territorio. E i mercati, si sa, adorano pagare caro per le mappe sbagliate.