Chi governa chi governa la frontiera?

INCHIESTA | CHI GOVERNA LA FRONTIERA — 05

Google, OpenAI e Anthropic stanno lavorando a una nuova autorità indipendente per definire standard comuni su testing, valutazione dei rischi e sicurezza dei modelli più avanzati. Dopo il dibattito sul pacing, la frontier AI prova così a costruire le istituzioni chiamate a controllarla. Ma il paradosso è evidente: se chi sviluppa i modelli stabilisce anche le regole con cui valutarli, chi controlla il controllore?

Prima è arrivata la richiesta di rallentare, poi quella di sottoporre i modelli più avanzati a valutazioni esterne., qindi la necessità di condividere gli incidenti, costruire metriche comuni e stabilire quali capacità possano diventare abbastanza pericolose da giustificare un intervento.

Adesso arriva il passaggio successivo: costruire l’istituzione che dovrebbe mettere insieme tutto questo.

Google, OpenAI e Anthropic stanno lavorando alla creazione di un organismo provvisoriamente chiamato Standards Authority for Frontier AI, SAFA, che dovrebbe definire standard comuni per la sicurezza dei modelli più avanzati. Secondo The Information, che ha rivelato il progetto il 24 settembre, le tre aziende puntano a renderlo operativo entro la fine del 2026 o all’inizio del 2027. L’organizzazione dovrebbe essere indipendente dal controllo governativo e occuparsi, tra le altre cose, di valutazione dei rischi, testing e procedure di revisione prima del rilascio dei frontier model.

Per ora sappiamo ancora poco della sua struttura definitiva e persino il nome potrebbe cambiare. Proprio per questo sarebbe prematuro descrivere SAFA come una nuova autorità di regolamentazione dell’intelligenza artificiale.

Ma il progetto segna comunque un passaggio importante.

Perché fino a poche settimane fa la discussione riguardava soprattutto quanto velocemente dovesse avanzare la frontiera.

Adesso la domanda sta diventando un’altra: chi stabilisce le regole con cui decidere se quella frontiera può avanzare?

Dal pacing alle istituzioni

È il passaggio che rende SAFA particolarmente interessante per questa inchiesta.

Quando Dario Amodei ha riaperto il dibattito sul pacing, l’idea centrale era relativamente semplice: se le capacità dei sistemi più avanzati stanno aumentando molto rapidamente, continuare a spostare la frontiera alla massima velocità tecnicamente possibile potrebbe non essere la strategia più prudente.

Sam Altman ha successivamente sostenuto una posizione simile, precisando che rallentare non significa fermare il progresso. La discussione ha coinvolto anche altri protagonisti dell’industria e si è spostata rapidamente dal principio generale agli strumenti necessari per renderlo praticabile

È qui che compare un problema. Dire che bisogna rallentare è relativamente facile ma è molto più difficile è stabilire quando.

Quale capacità rende un modello abbastanza potente da richiedere test aggiuntivi? Quale risultato in un benchmark dovrebbe far scattare una revisione? Chi conduce quei test? Con quali metriche? Chi ha accesso ai modelli? Che cosa succede quando un laboratorio rileva un comportamento inatteso? E, soprattutto, chi può stabilire che un sistema non dovrebbe essere distribuito?

Il pacing, quando smette di essere un principio, diventa inevitabilmente governance e la governance ha bisogno di istituzioni. E SAFA sembra essere uno dei primi tentativi dell’industria di costruirne una.

Ma un organismo esiste già

La storia sarebbe però incompleta senza ricordare che Google, OpenAI e Anthropic hanno già fatto qualcosa di molto simile.

Nel luglio 2023, insieme a Microsoft, hanno fondato il Frontier Model Forum, organismo nato per promuovere lo sviluppo sicuro dei modelli di frontiera, sostenere la ricerca sulla sicurezza, sviluppare valutazioni e benchmark, individuare best practice e creare meccanismi di condivisione delle informazioni tra aziende, governi e altri stakeholder.

A questo punto la domanda diventa quindi inevitabile: perché serve SAFA?

È forse troppo presto per dare una risposta definitiva, ma le informazioni disponibili suggeriscono un possibile cambio di livello. Il Frontier Model Forum è stato concepito soprattutto come spazio di cooperazione, ricerca e sviluppo di best practice. SAFA sembra puntare verso qualcosa di più formalizzato: standard comuni attraverso i quali valutare concretamente i sistemi di frontiera.

La differenza potrebbe sembrare burocratica ma non lo è.

Una cosa è riunire le aziende che costruiscono frontier model per studiare insieme come renderli più sicuri. Un’altra è costruire un organismo capace di stabilire come debbano essere testati prima di essere messi nelle mani di centinaia di milioni di persone.

Ed è proprio a quel punto che compare il problema del potere.

Chi controlla chi controlla l’AI?

Google, OpenAI e Anthropic possiedono qualcosa che nessun governo oggi possiede nella stessa misura: conoscono i propri modelli.

Dispongono dei ricercatori che li costruiscono, dei dati prodotti durante l’addestramento e il testing, delle informazioni sugli incidenti interni, dell’accesso ai pesi e soprattutto possono osservare capacità che spesso non sono ancora disponibili al pubblico.

In altre parole, chi costruisce la frontiera è anche chi la vede per primo.

Ora, se è vero che è difficile immaginare standard tecnicamente credibili per i frontier model senza coinvolgere proprio quelle aziende, quelle stesse aziende hanno contemporaneamente incentivi economici enormi a continuare a spostare la frontiera.

Investono decine di miliardi in compute, infrastrutture e ricerca. Competono per conquistare sviluppatori, imprese e consumatori. Devono giustificare valutazioni sempre più elevate e trasformare una quantità senza precedenti di capitale in prodotti e ricavi.

Il soggetto che possiede più conoscenza per stabilire quanto un modello sia pericoloso è quindi spesso lo stesso soggetto che ha interesse a portarlo sul mercato.

Non significa automaticamente che gli standard sviluppati dall’industria siano necessariamente inefficaci, ma certamente esiste un problema strutturale di indipendenza.

Ed è esattamente il problema che SAFA dovrà risolvere se vorrà diventare qualcosa di più di un altro tavolo di coordinamento tra aziende.

Il governo ha l’autorità. Le aziende hanno la conoscenza

Qui emerge probabilmente il paradosso più importante della frontier governance. I governi possiedono la legittimità e gli strumenti giuridici per imporre regole, ma spesso non possiedono la stessa capacità tecnica dei laboratori che dovrebbero controllare.

I frontier lab possiedono invece conoscenza, infrastruttura, ricercatori e accesso ai sistemi, ma non possiedono la stessa legittimità democratica per decidere quali rischi la società debba accettare.

Possiamo quasi ridurre il problema a due aspetti: il governo possiede l’autorità senza possedere completamente la conoscenza mentre l’industria possiede la conoscenza senza possedere l’autorità democratica.

SAFA sembra voler occupare proprio lo spazio che si apre tra queste due facce della stessa medaglia. Ed è significativo che le stesse aziende che stanno progettando un organismo indipendente continuino contemporaneamente a chiedere un ruolo più forte dei governi.

Anthropic, per esempio, nel suo Advanced AI Framework sostiene che i frontier developer dovrebbero essere sottoposti a testing dei rischi catastrofici, valutazioni esterne, disclosure continua di risultati e incidenti e responsabilità nei confronti del governo. Per i sistemi più avanzati propone esplicitamente che le autorità pubbliche possano arrivare ad avere il potere legale di bloccare o scoraggiare deployment considerati troppo pericolosi.

La posizione ufficiale di Anthropic arriva persino ad affermare che le regole e le norme fondamentali sull’AI dovrebbero essere definite da governi democraticamente eletti.

Non è necessariamente una contraddizione, ma potrebbe emergere piuttosto una divisione del lavoro: l’industria costruisce gli standard tecnici; gli organismi indipendenti conducono le valutazioni; i governi stabiliscono le conseguenze giuridiche.

Se fosse questa l’architettura, SAFA non sostituirebbe il regolatore e potrebbe anzi diventare uno degli strumenti attraverso cui il regolatore riesce finalmente a vedere ciò che deve regolare.

La settimana in cui la sicurezza è uscita dai laboratori

Il momento scelto per far emergere il progetto è particolarmente significativo.

Il 23 settembre, davanti al Consiglio di Sicurezza delle Nazioni Unite, Amodei ha affermato che una cattiva gestione dell’AI potrebbe rappresentare un rischio per l’umanità. Altman ha avvertito della possibilità di perdere il controllo sul futuro dell’intelligenza artificiale. Insieme a loro è intervenuto anche Yoshua Bengio, uno dei ricercatori che da tempo chiede meccanismi internazionali di controllo dei sistemi più avanzati.

l messaggio è singolare. Le aziende che stanno costruendo alcuni dei sistemi più potenti mai realizzati chiedono alle istituzioni pubbliche di contribuire a controllarli e contemporaneamente cominciano a costruire autonomamente una parte dell’infrastruttura necessaria per farlo.

Non siamo più soltanto nel territorio delle dichiarazioni sulla safety. Comincia a emergere una possibile architettura: pacing, poi valutazioni esterne, poi incident reporting, poi metriche e standard comuni, infine un organismo che provi a trasformarli in pratica condivisa.

È una progressione molto diversa dalla tradizionale regolamentazione tecnologica, nella quale una tecnologia arriva sul mercato, produce effetti e solo successivamente il legislatore costruisce le regole.

Qui industria e istituzioni stanno cercando, almeno in parte, di costruire i guardrail mentre la macchina continua ad accelerare.

Ma quanto sarà davvero indipendente?

È qui che SAFA dovrà affrontare le domande più difficili. Non sappiamo ancora quale sarà la sua governance definitiva, come verranno nominati i vertici, quale sarà il rapporto finanziario con le aziende fondatrici, chi potrà diventare membro, quanto saranno pubblici i risultati delle valutazioni o quali conseguenze produrrà il mancato rispetto degli standard.

Sono dettagli soltanto apparentemente organizzativi che in realtà stabiliscono quanto potere avrà l’organizzazione. Un conto è definire volontariamente un benchmark, un altro è accettare che un valutatore indipendente possa testare un modello prima del lancio e un altro ancora è impegnarsi a non distribuirlo se quel modello supera determinate soglie di rischio.

È qui che la parola authority contenuta nel nome provvisorio diventa interessante. Autorità su che cosa? E concessa da chi?

Un organismo privato può stabilire standard, può certificare, può creare reputazione e può persino rendere molto costoso per un’azienda ignorare le proprie valutazioni. Ma senza un collegamento con un potere pubblico difficilmente può obbligare un’impresa a non distribuire un modello che quella stessa impresa vuole distribuire.

È il confine tra standardizzazione e regolamentazione e probabilmente sarà proprio lì che si misurerà la reale importanza di SAFA.

C’è anche un problema di concorrenza

Esiste poi una seconda questione meno discussa. Gli standard non sono mai completamente neutrali. Stabilire quali test debba superare un frontier model significa anche stabilire quali caratteristiche deve possedere un’azienda per competere alla frontiera.

Google, OpenAI e Anthropic possono permettersi enormi programmi di valutazione, red teaming, cybersecurity e safety research, mentre un laboratorio più piccolo potrebbe avere molte più difficoltà.

Standard di sicurezza elevati possono quindi ridurre i rischi reali e contemporaneamente aumentare le barriere all’ingresso.

Per questo la domanda su chi abbia il potere di definire gli standard attraverso cui decidiamo che cosa significhi costruire un frontier model in maniera responsabile assume un ruolo fondamentale.

È una competizione meno visibile, ma potrebbe diventare altrettanto importante, perché gli standard costruiscono mercati, stabiliscono quali test diventano normali, quali rischi devono essere misurati, quali informazioni devono essere pubblicate e quali comportamenti vengono considerati accettabili.

E una volta adottati abbastanza diffusamente possono trasformarsi da regole volontarie in aspettative del mercato, requisiti contrattuali e infine norme.

La frontiera tecnologica potrebbe quindi cominciare a produrre anche la propria infrastruttura istituzionale. Ma proprio per questo dobbiamo chiederci chi avrà il potere di dirle quando fermarsi.

I governi possiedono l’autorità democratica, ma inseguono una tecnologia che cambia più rapidamente delle loro istituzioni. I frontier lab possiedono la conoscenza tecnica, ma sono contemporaneamente le aziende che competono per spostare quella frontiera ogni pochi mesi.

SAFA prova a occupare lo spazio che si sta aprendo tra questi due mondi. Potrebbe diventare un ponte tra competenza privata e autorità pubblica oppure potrebbe trasformarsi nell’ennesima forma di autoregolamentazione di un’industria che stabilisce autonomamente quali rischi è disposta ad accettare.

Oggi è troppo presto per sapere quale delle due cose sarà, ma la domanda che pone possiamo già formularla.

Perché se saranno le aziende che costruiscono la frontiera a costruire anche l’istituzione incaricata di stabilire come controllarla, non basterà più chiedersi chi governa l’AI, bisognerà inevitabilmente chiedersi anche: chi governa chi governa la frontiera?

.

→ Vai alla pagina dell’inchiesta “Chi governa la frontiera”