Self-Revising Discovery Systems for Science: A Categorical Framework for Agentic Artificial Intelligence
L’idea che un sistema di intelligenza artificiale possa essere sottoposto ad audit mentre modifica autonomamente le proprie regole interne non è più una provocazione teorica, ma un problema ingegneristico concreto che si sta affacciando nei laboratori di ricerca più avanzati. La crescente diffusione di agenti AI capaci di ristrutturare schemi di inferenza, vocabolari scientifici e criteri di valutazione dei dati mette in crisi l’impianto classico della governance algoritmica, costruito su modelli statici, versionati e sostanzialmente congelati nel tempo. In questo contesto, il lavoro sviluppato dal Massachusetts Institute of Technology su sistemi di scoperta autorevisivi per la scienza introduce una frattura concettuale che non riguarda soltanto la performance dei modelli, ma la natura stessa dell’auditabilità.
Il punto critico non è più cosa l’AI produce, ma come cambia il sistema di riferimento mentre produce. Nei modelli tradizionali, l’audit si fonda su una premessa quasi burocratica: input stabile, pipeline stabile, output verificabile. Tuttavia, gli agenti contemporanei, soprattutto quelli orientati alla ricerca scientifica e alla generazione di ipotesi, operano in uno spazio dinamico in cui le categorie interpretative possono essere modificate durante l’esecuzione. In altre parole, non solo l’AI risponde, ma riscrive il linguaggio con cui le risposte vengono giudicate. Questa condizione introduce un cortocircuito epistemico che rende insufficiente qualsiasi framework di compliance basato esclusivamente sulla tracciabilità lineare delle decisioni.
La proposta tecnica che emerge dal MIT affronta questa instabilità attraverso un approccio radicale: trasformare l’evoluzione della logica interna del modello in un oggetto matematicamente tracciabile mediante strutture derivate dalla teoria delle categorie. L’obiettivo non è congelare il sistema, ma registrare formalmente ogni trasformazione del suo spazio semantico, rendendo ogni passaggio non solo osservabile, ma verificabile come parte di una catena coerente di mutazioni. In questo scenario, l’audit AI non diventa una fotografia del comportamento, ma un grafo dinamico della sua evoluzione concettuale, dove ogni revisione del modello è un evento persistente e interrogabile.
Un aspetto particolarmente rilevante riguarda i meccanismi di controllo dell’invenzione scientifica automatica, dove l’AI è incentivata a proporre nuove regole fisiche o modelli interpretativi. Nei prototipi descritti, viene introdotto un vincolo di compressione informativa, spesso espresso attraverso principi assimilabili alla minimum description length, che impedisce al sistema di generare spiegazioni ad hoc non giustificate da una reale riduzione della complessità descrittiva. Questo approccio, apparentemente tecnico, nasconde una tensione strategica profonda: limitare la creatività computazionale senza soffocare la capacità di scoperta. In termini economici e industriali, è il tentativo di evitare che la produttività dell’AI si trasformi in inflazione semantica, dove ogni anomalia viene risolta con una nuova regola inventata, ma non verificabile.
La dimensione forse più controversa emerge nella gestione della memoria delle decisioni scartate. Sistemi come quelli descritti nella ricerca, talvolta indicati come architetture di tipo ScienceClaw, non eliminano le ipotesi fallite ma le conservano come oggetti strutturati e consultabili. Questo approccio ribalta la logica tradizionale della modellazione statistica, dove gli errori vengono compressi o assorbiti nel parametro finale. Qui invece l’errore diventa patrimonio epistemico, parte integrante del sistema di audit, utile per ricostruire non solo ciò che l’AI ha deciso, ma ciò che ha scelto di non diventare. In un contesto industriale, questa scelta introduce un nuovo livello di trasparenza, ma anche un aumento significativo della complessità gestionale e dei costi computazionali.
La domanda che emerge con maggiore urgenza riguarda la natura stessa della governance dell’intelligenza artificiale. Regolare un output statico è un problema risolto, almeno a livello concettuale. Regolare un sistema che riscrive le proprie regole mentre opera significa invece introdurre una forma di audit continuo che somiglia più a un protocollo crittografico che a un controllo regolatorio tradizionale. Le architetture proof-carrying, in questo senso, diventano una direzione inevitabile: ogni decisione deve essere accompagnata non solo da una spiegazione, ma da una prova formale della coerenza del percorso logico seguito.
In questo scenario, la governance non può più limitarsi a verificare la correttezza finale, ma deve spostarsi sulla verifica della trasformazione stessa del sistema. L’AI agentica non è più uno strumento che produce conoscenza, ma un ambiente che negozia continuamente le condizioni della propria validità epistemica. Per l’industria, per le istituzioni regolatorie e per i mercati che si affacciano sull’economia dell’intelligenza artificiale avanzata, il vero nodo non sarà stabilire cosa l’AI dice, ma garantire che il modo in cui lo dice rimanga sempre, in qualche forma, verificabile.