AI, identità narrativa e diritto a rimanere opachi

a cura di Francesca Tempesta e Fabrizio Degni

Quando a parlare di AI sono, da un lato, una professionista del diritto che osserva la tecnologia dal punto di vista delle conseguenze e della governance, e dall’altro un responsabile AI che lavora su etica e governo dei sistemi, la conversazione non inizia dal “come funziona”, ma dal “cosa provoca”. Perché l’etica della tecnologia non si decide nelle architetture o nei convegni: si decide quando un output diventa un impatto, e quell’impatto ricade su una vita umana. E da quel momento in poi, niente è più puramente tecnico. L’identità umana è sempre stata questione di racconto: quando ci chiediamo chi siamo, non estraiamo un’essenza immutabile dal profondo del nostro essere, ma costruiamo una narrazione coerente che tiene insieme i frammenti del passato, interpreta il presente e proietta un arco di senso verso il futuro. Paul Ricœur lo chiamava “identità narrativa” proprio per questo: la nostra identità non è una sostanza ma un processo, non un dato ma un compito ermeneutico che svolgiamo quotidianamente quando raccontiamo noi stessi agli altri e a noi stessi. Diciamo “io sono quello che ha commesso questo errore ma che ha imparato”, oppure “vengo da quella famiglia ma ho scelto un’altra strada”, e in queste costruzioni linguistiche non stiamo semplicemente descrivendo fatti, stiamo producendo significato, stiamo decidendo quali eventi contano e come interpretarli, stiamo tenendo aperta la possibilità di cambiamento. Questo racconto, questa trama, che ciascuno tesse con fatica e attenzione, oggi si scontra con una nuova categoria di narratori non invitati: i sistemi di intelligenza artificiale che ci profilano, ci classificano e soprattutto ci predicono. La voce giuridica, con lo sguardo allenato alla frizione fra regola e vita reale, lo dice senza giri di parole: “Una persona non è riducibile ai dati che la descrivono”. È un’affermazione che suona ovvia ma è rivoluzionaria nelle sue implicazioni, perché se una persona non è riducibile al suo dossier, allora qualsiasi sistema che pretende di conoscerci attraverso i nostri dati sta operando un’approssimazione, una riduzione violenta. Naturalmente violenta non nel senso dell’aggressione fisica, ma violenta nel senso che forza una complessità irriducibile dentro categorie semplificate (un paradosso fondamentale della filosofia e della logica, spesso legato al pensiero pitagorico e aristotelico, limite e illimitato come principi costitutivi della realtà, ma il limite stesso non è un assoluto, è semplicemente un confine, una definizione, una forma). La voce che lavora su etica e governance dell’AI, con l’attenzione alle catene di responsabilità, aggiunge l’altra metà dell’equazione: “la persona non coincide mai con la sua predizione”. Qui il problema si fa ancora più acuto perché mentre il dossier almeno pretende di descrivere ciò che è stato, la predizione pretende di anticipare ciò che sarà e nel momento in cui questa anticipazione viene utilizzata per prendere decisioni che impattano la vita di una persona, la predizione smette di essere una semplice ipotesi statistica e diventa una forza che plasma la realtà.

Lo specchio narrativo che deforma

I sistemi di profilazione e previsione non sono specchi neutri. Sono specchi che restituiscono versioni di noi cariche di conseguenze. Quando un algoritmo di credit scoring ti classifica come “cliente a rischio”, quando un sistema di HR analytics ti etichetta come “lavoratore poco performante”, quando un modello predittivo in sanità ti identifica come “paziente non aderente”, queste categorizzazioni non rimangono confinate nel registro tecnico della statistica. 

Comprimono. 

Ridimensionano. 

Semplificano. 

Devono decidere, o almeno suggerire una decisione: concedere o rifiutare, alzare o abbassare un rischio, attivare o disattivare un controllo, promuovere o “monitorare” mq nel farlo producono qualcosa che spesso passa inosservata: una versione di te che circola nei sistemi più di quanto tu circoli come persona. Questa versione digitalizzata di te ha una vita propria: viaggia attraverso database, viene consultata da algoritmi, influenza decisioni prese da persone che non ti hanno mai incontrato e soprattutto, questa versione ha la postura dell’oggettività. Questa versione digitalizzata si presenta come descrizione neutra ma in realtà è sempre interpretazione carica di valori. Dal fronte legale, la riflessione è tagliente: quando una categoria entra in un processo, smette di essere una parola e diventa un trattamento. E il trattamento, a sua volta, diventa un messaggio psicologico. Ti dice: “Ecco cosa sei per noi”. E tu, anche se non vuoi, inizi a sentire il peso di quel “per noi” perché “noi” può essere una banca, un’azienda, un ospedale, un’assicurazione. Può essere il datore di lavoro. Può essere il sistema sanitario. Può essere l’istituzione. Il potere, quando si presenta, raramente chiede permesso, una verità che chiunque abbia attraversato un conflitto legale o una controversia con un’istituzione conosce bene: l’etichetta che ti viene assegnata determina quale procedura ti verrà applicata e la procedura determina quali diritti potrai esercitare e come verranno ascoltate le tue ragioni.

Il circuito chiuso della profezia

Il meccanismo attraverso cui le predizioni algoritmiche si trasformano in identità imposte è quello del feedback loop negativo ma chiariamo subito con un esempio: un algoritmo mi classifica come instabile economicamente sulla base del mio codice postale e della mia storia creditizia. Questa classificazione mi preclude l’accesso al credito, l’impossibilità di accedere al credito mi impedisce di acquistare una casa, il rimanere in affitto viene interpretato dal sistema come ulteriore conferma di instabilità. Il cerchio si chiude. La predizione genera le condizioni per la propria conferma e io, intanto, rimango intrappolato in una versione di me stesso che non ho scelto, che non ho scritto, ma che mi è stata assegnata sulla base di pattern statistici estratti da popolazioni aggregate in cui vengo ricondotto per somiglianza. La voce di governance aggiunge l’affondo che di solito manca nelle policy e nei framework etici: la predizione non resta confinata a un report, crea un circuito. Il sistema ti classifica, l’organizzazione ti tratta in base a quella classificazione, e la tua reazione a quel trattamento viene letta come conferma della classificazione. Non serve immaginare scenari distopici da film di fantascienza. Basta la routine. Basta l’efficienza. Basta un KPI che premia la riduzione di rischio e non misura la qualità della relazione con la persona. 

Quando i sistemi sono progettati per ottimizzare metriche aggregate, la singolarità di ogni caso umano diventa rumore statistico da eliminare, non complessità da preservare. 

E qui arriva un punto psicologico quasi invisibile: il passaggio da “hai fatto” a “sei”. Un ritardo nei pagamenti diventa “inaffidabilità” come caratteristica personale. Un’assenza a un appuntamento medico diventa “non aderenza” come identità del paziente. Un trimestre difficile in azienda diventa “scarsa performance” come definizione del lavoratore. Il racconto umano tiene conto del contesto delle circostanze, delle difficoltà temporanee, dei momenti di crisi che tutti attraversiamo. La macchina, per design, tende a neutralizzare il contesto. Perché il contesto non scala. Il contesto non si normalizza bene. Il contesto richiede giudizio caso per caso, e questo è esattamente ciò che l’automazione cerca di evitare. Il contesto, in una parola, non è comodo per i sistemi che devono processare milioni di casi.

Quando la predizione diventa prescrizione

La conseguenza è sottile ma enorme, e qui la lente del diritto diventa chirurgica: “Quando la predizione diventa prescrizione, il modello non solo mi descrive, ma mi pre-scrive. Mi scrive prima che io abbia la possibilità di scrivermi da sola”. Questa non è retorica. È la descrizione precisa di un meccanismo di potere. La previsione si trasforma in identità. E l’identità, a quel punto, diventa una gabbia di possibilità. La domanda smette di essere “chi sei?” e diventa “che cosa farai?”. Solo che questa seconda domanda, quando viene posta da un sistema che influenza accesso, opportunità, cure, carriera, non è curiosità sociologica. È una pre-decisione che ha già chiuso alcune porte prima ancora che tu arrivassi davanti a esse. Pensiamo a cosa significa questo in termini concreti. Se un sistema predice che probabilmente non completerai un percorso di studi, l’istituzione potrebbe decidere di non investire risorse su di te. Ma se l’istituzione non investe risorse su di te tutoraggio, supporto, opportunità le probabilità che tu effettivamente non completi il percorso aumentano. La predizione ha creato le condizioni per la propria realizzazione. Non perché fosse vera in senso deterministico, ma perché ha influenzato le scelte di chi aveva il potere di modificare le tue condizioni di possibilità. E qui, dal lato del diritto, mettiamo il dito in una ferita che spesso si perde nei dibattiti di AI ethics: molti processi possono risultare formalmente corretti e al tempo stesso produrre un danno morale profondo. Hai firmato. Hai accettato. Hai cliccato su “accetto i termini e condizioni”. Ma hai davvero capito che quella “lettura” algoritmica di te sarebbe diventata una leva di potere? E soprattutto: hai avuto un canale reale per contestare, correggere, negoziare? Perché senza contestazione non esiste giustizia procedurale, esiste solo esecuzione. Il diritto alla spiegazione, tanto celebrato nel GDPR, è necessario ma non sufficiente. Spiegare perché il sistema ti ha classificato in un certo modo non ti dà automaticamente il potere di cambiare quella classificazione. E se non puoi cambiarla, se non puoi negoziare, se non puoi presentare elementi che il modello non aveva considerato, allora quella spiegazione è solo la narrazione del tuo funerale sociale. E dall’altra voce, quella di chi lavora sulla governance dei sistemi, la messa a terra è netta: se un’etichetta cambia la traiettoria di una vita, allora deve essere trattata come decisione ad alto impatto, non come semplice “supporto alla decisione”. Questa distinzione tra decisione e supporto alla decisione è uno dei trucchi retorici più insidiosi dell’automazione. Si dice che l’AI “supporta” ma non “decide”, quando in pratica sappiamo che le persone tendono a seguire le raccomandazioni algoritmiche, soprattutto quando queste vengono presentate con l’autorità della quantificazione. Serve ownership, serve tracciabilità, serve responsabilità personale, serve audit serio. E serve una regola quasi antica ma sempre valida: chi subisce deve poter parlare. Non in teoria. In pratica. Con tempi umani. Con un interlocutore responsabile. Con la possibilità di essere più complessi del proprio profilo.

Il diritto all’opacità come spazio di libertà

Ed è qui che emerge la questione del “diritto a rimanere opachi”, e dobbiamo fermarci a capire bene cosa significa perché è un concetto controintuitivo in un’epoca ossessionata dalla trasparenza. Non si tratta dell’opposto della trasparenza algoritmica. Non è una richiesta di oscurità o di non-accountability dei sistemi. È qualcosa di più sottile e più profondo: è il diritto a mantenere una zona di non-completa-definibilità, di non-completa-predicibilità. È il diritto a non essere interamente leggibili, interamente anticipabili, interamente catturabili attraverso dati. Che non significa “diritto a nascondere”. Significa diritto a non essere esauriti da una singola interpretazione. Diritto a non essere resi completamente prevedibili. Diritto a restare, in parte, indecifrabili. Non perché l’indecifrabile sia esteticamente bello o romanticamente affascinante, ma perché è lo spazio in cui avviene la trasformazione umana: il cambio di rotta, l’imprevisto, la maturazione, il miglioramento, la conversione. Se togli quella opacità, se rendi ogni aspetto dell’esistenza umana trasparente e misurabile, togli la libertà di diventare altro da ciò che sei stato finora. Dal diritto, lo diciamo con una precisione che viene dalla pratica: “Io voglio rivendicare il diritto a essere parzialmente inconoscibile. Non nel senso di nascondere qualcosa di sbagliato, ma nel senso di mantenere una dimensione di libertà, di autodeterminazione”. Questa opacità non è un residuo pre-moderno da eliminare attraverso migliori tecniche di data collection o algoritmi più sofisticati. È una caratteristica costitutiva dell’essere umano come soggetto libero. È ciò che i filosofi esistenzialisti chiamavano “trascendenza”: la capacità dell’esistenza umana di andare sempre oltre le sue determinazioni attuali, di non coincidere mai completamente con ciò che è stata finora. E qui, dalla professionista del settore legale, aggiungiamo una provocazione necessaria: la trasparenza totale, quando è imposta dall’alto, è spesso una richiesta di obbedienza mascherata da virtù. Pensiamoci… Quando un’istituzione chiede trasparenza completa ai suoi cittadini, ai suoi dipendenti, ai suoi utenti, mentre mantiene opachi i propri meccanismi decisionali, quella non è trasparenza. È sorveglianza. È asimmetria di potere. 

La vera trasparenza dovrebbe essere bidirezionale: se devo essere trasparente con il sistema, il sistema deve essere trasparente con me. 

E non solo nelle sue procedure tecniche, ma nelle sue logiche di potere, nei suoi obiettivi non dichiarati, nei suoi trade-off etici. Dal punto di vista della governance, la formula è altrettanto netta e va dritta al punto: l’ossessione per la predittività produce sistemi che preferiscono persone docili, coerenti, leggibili… cioè persone più governabili. È un’osservazione che dovrebbe far riflettere chiunque si occupi di AI governance perché svela che la questione non è solo tecnica o anche etica, ma politica nel senso più pieno del termine. 

Quali soggettività produciamo quando costruiamo sistemi che premiano la coerenza e puniscono la deviazione dalla norma statistica? 

Quali forme di vita scoraggiamo quando rendiamo costoso, difficile o impossibile essere imprevedibili?

L’agency come capacità di negoziazione narrativa

Sartre diceva che l’essenza dell’uomo è di non avere essenza, che esistiamo come puro progetto, come possibilità aperta. Questa apertura radicale del futuro è precisamente ciò che l’AI predittiva tende a chiudere, non perché abbia intenzioni malvagie gli algoritmi non hanno intenzioni ma perché la sua stessa logica operativa è quella di ridurre l’incertezza, di trasformare il possibile in probabile e il probabile in determinato. Un algoritmo, come notiamo dal lavoro di governance, “è fedele ai suoi pattern”, dopotutto è programmato per questo, non può fare altrimenti. È progettato per trovare regolarità, per estrarre segnale dal rumore, per rendere prevedibile ciò che appare caotico e questo è accettabile quando l’oggetto della predizione sono fenomeni naturali o sistemi tecnici: prevedere il clima, ottimizzare una supply chain, diagnosticare precocemente una malattia questi sono usi dell’AI predittiva che possono salvare vite e migliorare il benessere collettivo ma quando l’oggetto sono persone, quando quello che stiamo cercando di rendere prevedibile sono vite umane in tutta la loro complessità e irriducibilità, allora qualcosa si inceppa: si rompe perché le persone non sono solo pattern. Sono anche eccezioni. Sono anche quella cosa che accade quando tutti i numeri dicono una direzione e la vita ne prende un’altra. La capacità di auto-sorprendersi, di fare qualcosa che non ci aspettavamo da noi stessi, di scoprire possibilità che non sapevamo di avere, è forse la cosa più umana che abbiamo. Dalla voce femminile, lo diciamo in modo (quasi) poetico ma molto pratico: “Noi possiamo tradire le nostre stesse statistiche”. Tradire le proprie statistiche significa essere liberi nel senso più radicale: non essere completamente determinati dal proprio passato, non essere interamente prevedibili sulla base di ciò che si è stati finora: il contrario del determinismo, la possibilità che domani io sia diverso da oggi, che la mia storia prenda una piega inattesa, che il racconto che sto scrivendo su me stesso contenga colpi di scena che nessun algoritmo avrebbe potuto anticipare. La human agency, in questo scenario, non è una parola da convegno internazionale sull’etica dell’AI e come hashtag sui social, è un gesto concreto: la capacità di negoziare il proprio racconto con i sistemi che cercano di anticiparlo. Non per vincere contro la macchina in una battaglia impossibile, ma per non essere ridotti alla macchina. È poter dire: “Questa versione di me è incompleta”. È poter dimostrare contesto. È poter cambiare senza essere puniti dal passato digitalizzato. È poter restare contraddittori, senza che la contraddizione diventi automaticamente un segnale di rischio. Nel dibattito sull’AI si parla molto di “human in the loop”, di supervisione umana come garanzia contro gli errori degli algoritmi. Ma, sul versante governance, la nota è precisa: “forse dovremmo parlare di più di human agency. Non solo un umano che controlla, ma un umano che decide, che negozia, che mantiene il potere di riscrivere la propria storia”. L’agency non è il bottone rosso di emergenza, la capacità continuativa di essere co-autori della propria narrazione anche quando ci sono sistemi che cercano di scriverla per noi ma va intesa e pretesa come nostro diritto di intervenire non solo quando il sistema sbaglia tecnicamente, ma anche quando la sua classificazione, pur tecnicamente corretta secondo i suoi criteri, è esistenzialmente sbagliata, è ingiusta rispetto al racconto che vogliamo dare di noi stessi.

C’è poi un’altra dimensione che spesso viene trascurata nel dibattito sulla trasparenza algoritmica, e che nel lavoro legale sui casi concreti abbiamo imparato a riconoscere: la trasparenza può diventare essa stessa una forma di violenza simbolica. Quando un sistema ti spiega perché sei stato classificato in un certo modo, quella spiegazione non sempre ti aiuta. A volte ti stigmatizza. “Sei classificato come a rischio perché nel tuo quartiere il 40% delle persone non ripaga i prestiti”. Questa trasparenza algoritmica cosa ti dà? Ti riconduce a una categoria sociale, ti appiccica addosso le statistiche del tuo gruppo di appartenenza. Ti dice: tu appartieni a questo gruppo, e questo gruppo si comporta così, quindi noi ti trattiamo come se tu fossi la media di questo gruppo. Ma io non sono il mio gruppo. E rivendicare questa non-riducibilità al gruppo non è individualismo narcisistico. È una forma di resistenza politica necessaria. Perché quando le decisioni vengono prese sulla base di appartenenze categoriali invece che su valutazioni individuali, stiamo facendo esattamente ciò che le legislazioni anti-discriminazione cercano di prevenire: stiamo trattando le persone non per quello che sono ma per il gruppo a cui le assegniamo. E il fatto che questa assegnazione sia fatta da un algoritmo invece che da un essere umano prevenuto non la rende meno discriminatoria, anzi, la rende più insidiosa perché si presenta con l’autorità della scienza e dell’oggettività.

Questioni pratiche di governance

Ma come si traduce tutto questo in pratica? Come si protegge questo diritto all’opacità in un mondo sempre più dipendente da sistemi di predizione algoritmica? E’ una domanda che non ha una risposta unica, ma numerosi “dipende”, cercando di tradurre principi etici in pratiche concrete di governance. Dal lato di chi progetta e governa questi sistemi, la domanda suona così: “Io posso metterlo in una carta etica, posso scriverlo in un framework di governance come P.A.L.O., ma poi cosa significa concretamente?” La sfida è reale e non va sottovalutata perché non basta proclamare principi astratti se poi non si riesce a tradurli in vincoli operativi sui sistemi. Il rischio è quello del greenwashing etico: produrre documenti bellissimi sui valori umani che l’AI deve rispettare, mentre nella pratica i sistemi continuano a operare secondo logiche puramente ottimizzatrici che non tengono conto di queste dimensioni più profonde. Una possibile via, che dal diritto proponiamo con quella concretezza che viene dall’esperienza legale, è ripensare radicalmente cosa vogliamo che l’AI faccia e cosa invece dovrebbe rimanere fuori dal suo dominio. 

Non tutte le decisioni dovrebbero essere automatizzate. Non tutte le predizioni dovrebbero essere fatte. Ci sono ambiti della vita umana dove l’incertezza non è un problema da risolvere ma una condizione da preservare. 

“Forse ci sono ambiti dove la predizione non dovrebbe entrare. Dove dovremmo accettare di non sapere, di non anticipare, di lasciare che le persone ci sorprendano”. Questa non è tecnofobia. È il riconoscimento che alcune decisioni sono intrinsecamente non-scalabili perché riguardano l’unicità irripetibile di ogni esistenza umana. Dal lato governance aggiungiamo un criterio operativo che dovrebbe guidare ogni decisione di deployment: se ogni persona impattata deve poter contestare individualmente la classificazione, se ogni caso richiede considerazione del contesto specifico, se la decisione giusta dipende da elementi qualitativi che resistono alla quantificazione, allora forse quella decisione non dovrebbe essere automatizzata o almeno, non dovrebbe essere automatizzata nel senso di essere affidata interamente agli algoritmi. Dovrebbe rimanere sempre uno spazio dove un essere umano responsabile può dire: “ho guardato i numeri, ma ho anche parlato con la persona, ho capito il contesto e la mia decisione è questa”. E quella decisione deve poter divergere dalla raccomandazione algoritmica senza che questo venga automaticamente trattato come errore o inefficienza.

La domanda che resta aperta

A questo punto, la domanda iniziale torna, ma con la consapevolezza di questo viaggio: chi decide chi siamo? Non l’algoritmo. Non il passato digitalizzato. Non quello che è misurabile. Chi? La risposta non può essere semplicemente”io decido da solo” perché viviamo in una società dove le nostre identità sono sempre co-costruite con altri, dove dipendiamo dal riconoscimento altrui, dove i sistemi tecnici che usiamo hanno effetti reali sulle nostre possibilità di vita. La risposta deve stare in uno spazio di negoziazione continua dove ci sia sempre la possibilità di contestare la classificazione, di presentare il proprio caso nella sua unicità, di dire “non sono solo quello che i dati dicono di me”. Deve esserci quello che noi, dal diritto, chiamiamo il diritto a rimanere “parzialmente indecifrabili, non perfettamente prevedibili”. Questo diritto non va inteso come una primizia o un lusso filosofico per persone con troppo tempo libero ma una condizione necessaria per la libertà perché se il mio futuro è completamente anticipabile sulla base del mio passato, se non c’è spazio per la sorpresa e il cambiamento radicale, allora non sono libero, sono solo l’esecuzione deterministica di un programma scritto dai miei dati storici. 

Chi decide chi possiamo diventare? Questa è forse la domanda ancora più spinosa perché se la risposta diventa “un punteggio”, allora non stiamo solo automatizzando decisioni ma stiamo automatizzando biografie, chiudendo futuri possibili prima ancora che qualcuno abbia la possibilità di provarci, confermando e che il passato determina le possibilità future e non c’è negoziazione possibile con questo destino algoritmico. Il diritto all’opacità è quindi, in ultima analisi, il diritto al futuro aperto. Il diritto a non essere già finiti nel momento in cui veniamo calcolati. Il diritto a quella dimensione di mistero, di non-completa-conoscibilità, che non è un residuo pre-moderno da eliminare attraverso migliori tecnologie di misurazione, ma è la condizione stessa della libertà umana. Concludiamo con una formulazione che merita di essere presa sul serio: “Questa non-completa-conoscibilità non è un bug, è una feature. È quello che ci rende umani”. E dall’altra voce, quella di chi ha l’expertise operativa, arriva l’ultima considerazione, quella che chiude il cerchio: l’opacità non è un difetto da eliminare, ma una cintura di sicurezza civile, ciò che ci protegge dalla riduzione totale della vita a dati, dalla trasformazione completa dell’esistenza in informazione processabile e proteggere questa opacità non è compito solo di filosofi e teorici è compito di chiunque progetta sistemi, di chiunque decide quali tecnologie implementare, di chiunque costruisce le architetture di governance che regolano l’uso dell’AI. Non serve un mondo senza AI, serve un mondo in cui nessun sistema abbia il diritto di sostituirsi al racconto umano, un mondo in cui la previsione non diventi destino. Serve il coraggio di rispondere, a volte: “no, questo non dovremmo farlo, non perché non possiamo, ma perché non dovremmo” o più banalmente “non serve”. Come dice una massima che il dott. Degni ama citare: “Non chiederti se si può fare, né come, ma solo se si dovrebbe fare”. E l’ultima domanda, quella che resta in sospeso come una pausa vera e necessaria: se domani un sistema ti restituisce una versione di te “ottimizzata”, “valutata”, “classificata”. tu hai ancora spazio per dire: “no, non sono solo questo”? Difendere questo spazio è difendere la possibilità stessa di essere umani in un senso pieno, umani nel senso di soggetti capaci di cambiamento, di contraddizione, di sorpresa, umani nel senso di storie aperte, non di dataset conclusi. Umani nel senso di possibilità, non di probabilità. E questo, ce lo diciamo a due voci vale la pena difenderlo. Insieme. Dal diritto e dalla tecnologia. Dal codice e dalla legge. Dall’etica e dalla pratica perché nessuno di noi vuole vivere in un mondo dove sappiamo già come andrà a finire, con un finale scritto da altri.