Esiste una certa ironia nel fatto che i sistemi più avanzati mai costruiti dall’uomo, capaci di risolvere problemi matematici da olimpiade e generare codice complesso in pochi secondi, inciampino su qualcosa di banale come rispettare le regole di un gioco. Non si tratta di un dettaglio tecnico ma di un cortocircuito concettuale che l’industria dell’intelligenza artificiale ha preferito ignorare per anni, troppo occupata a inseguire benchmark sempre più sofisticati e demo sempre più spettacolari. La ricerca recente di Google DeepMind introduce una crepa profonda in questa narrazione, quasi imbarazzante nella sua semplicità: il 78% delle sconfitte di un modello avanzato come Gemini 2.5 Flash, in un contesto competitivo, non deriva da strategie sbagliate ma da mosse illegali. Non errori complessi, non limiti cognitivi profondi, ma violazioni delle regole di base. In altre parole, non è un problema di intelligenza, è un problema di disciplina.

Questo dato, apparentemente tecnico, racconta una storia molto più ampia e scomoda. Negli ultimi anni abbiamo costruito una narrativa quasi mitologica attorno agli agenti AI, descrivendoli come entità strategiche, quasi proto-autonome, capaci di pianificare, adattarsi e ottimizzare. La retorica della Silicon Valley ha fatto il resto, alimentando l’idea che bastasse aumentare i parametri, aggiungere dati e potenza computazionale per ottenere sistemi sempre più affidabili. Tuttavia, il fenomeno delle mosse illegali rivela un limite strutturale: questi modelli non comprendono davvero lo stato del sistema in cui operano. Simulano, approssimano, predicono, ma non verificano.

Il paradosso dell’intelligenza artificiale emerge qui con una chiarezza quasi crudele. Un modello può dimostrare capacità avanzate in contesti astratti, come la geometria o la programmazione, e al contempo fallire nel mantenere la coerenza di uno stato semplice e definito. È come avere un brillante stratega incapace di ricordare le regole del gioco a cui sta giocando. Questa discrepanza non è un bug marginale, è una proprietà emergente dell’architettura stessa dei modelli linguistici. Gli LLM non sono progettati per mantenere stati interni verificabili; sono macchine probabilistiche che generano sequenze plausibili, non sistemi deterministici che rispettano vincoli.

Qui entra in gioco la proposta di DeepMind, AutoHarness, che rappresenta un cambio di paradigma più radicale di quanto possa sembrare a una prima lettura. L’idea è quasi controintuitiva nella sua eleganza: invece di affidarsi esclusivamente al modello per simulare e rispettare le regole, si delega questa responsabilità a un livello esterno, un “harness” di codice generato automaticamente dal modello stesso. Questo codice funge da guardrail, un sistema di verifica che blocca le azioni illegali prima che possano essere eseguite. Non si tratta di migliorare l’intelligenza del modello, ma di circoscriverne il comportamento.

Il punto cruciale è che questo approccio ribalta una convinzione profondamente radicata nell’industria. Per anni si è creduto che il progresso dell’AI fosse principalmente una funzione della scala: più parametri, più dati, più compute. AutoHarness suggerisce invece che la struttura conta più della dimensione. Un modello più piccolo, dotato di un sistema di verifica esterno, può superare modelli molto più grandi privi di tali meccanismi. È una lezione che ricorda, in modo quasi nostalgico, l’ingegneria del software tradizionale, dove la robustezza di un sistema dipende più dall’architettura che dalla potenza bruta.

Questo spostamento ha implicazioni economiche rilevanti. Il cosiddetto “zero inference cost” non è solo un dettaglio tecnico, ma una potenziale rivoluzione nei modelli di business dell’AI. Se un agente può generare una policy completa in codice, eliminando la necessità di calcoli complessi durante l’esecuzione, si apre la porta a sistemi estremamente efficienti, scalabili e, soprattutto, prevedibili nei costi. In un contesto in cui il costo computazionale è diventato il principale vincolo alla diffusione dell’AI, questa prospettiva ha un peso strategico enorme.

Il concetto di rejection sampling applicato agli LLM aggiunge un ulteriore livello di profondità. Invece di fidarsi ciecamente delle previsioni del modello, si introduce un meccanismo di filtraggio che scarta le azioni non valide. Questo approccio, apparentemente banale, rappresenta in realtà un ritorno a principi fondamentali dell’ingegneria: non si costruiscono sistemi complessi affidandosi alla perfezione di un singolo componente, ma introducendo ridondanza, verifica e controllo. È una filosofia che l’industria del software ha imparato decenni fa, e che l’AI sembra aver temporaneamente dimenticato nella sua corsa all’iper-scaling.

Il problema per gli sviluppatori è tutt’altro che teorico. La costruzione manuale di harness è notoriamente laboriosa, fragile e difficile da mantenere. Ogni cambiamento nel sistema richiede aggiornamenti, test e verifiche, creando un costo operativo significativo. AutoHarness promette di automatizzare questo processo, riducendo la complessità e aumentando la resilienza. Tuttavia, questa automazione introduce a sua volta nuove sfide: quanto possiamo fidarci di codice generato da un modello che, per definizione, non è perfetto? La risposta, probabilmente, sta in un equilibrio dinamico tra generazione automatica e verifica rigorosa.

Una lettura più cinica suggerisce che stiamo assistendo a un ridimensionamento dell’hype sugli agenti AI. La narrativa dominante ha spesso sopravvalutato la capacità di questi sistemi di operare in modo autonomo e affidabile. Il dato del 78% di mosse illegali è un promemoria brutale: senza un’infrastruttura adeguata, gli agenti non sono agenti, ma generatori di azioni plausibili con un alto tasso di errore. La differenza tra plausibilità e correttezza, che per un umano è intuitiva, per un modello è un abisso.

Questa distinzione ha implicazioni profonde anche per il futuro del lavoro e dell’automazione. Molte delle promesse legate agli agenti AI si basano sull’idea che possano sostituire o affiancare gli esseri umani in compiti complessi. Tuttavia, se questi sistemi non sono in grado di rispettare vincoli di base senza supervisione, il loro ruolo dovrà essere ripensato. Più che sostituire l’uomo, dovranno essere integrati in sistemi ibridi, dove la verifica e il controllo rimangono elementi centrali.

Un parallelo interessante può essere tracciato con la storia dell’aviazione. I primi aerei erano macchine straordinarie ma instabili, richiedevano piloti altamente esperti per essere controllati. Solo con l’introduzione di sistemi di stabilizzazione e controllo automatico è stato possibile rendere il volo accessibile e sicuro. Gli agenti AI si trovano oggi in una fase analoga: impressionanti nelle capacità, ma intrinsecamente instabili. AutoHarness rappresenta, in questo senso, un primo passo verso una “stabilizzazione” dell’intelligenza artificiale.

La domanda che emerge, quasi inevitabile, è se stiamo entrando in un’era in cui l’infrastruttura conta più del modello. Per anni, l’attenzione si è concentrata sul “cervello” dell’AI, trascurando il “corpo” che lo supporta. Tuttavia, come ogni ingegnere esperto sa, un sistema è forte quanto il suo componente più debole. Se il modello è brillante ma l’infrastruttura è fragile, il risultato sarà comunque inaffidabile.

Una frase, forse provocatoria ma difficilmente contestabile, riassume questa transizione: “L’intelligenza senza controllo è solo caos computazionale.” In un’epoca in cui la potenza dei modelli cresce esponenzialmente, la vera sfida non è più costruire sistemi intelligenti, ma costruire sistemi affidabili. Questo richiede un cambio di mentalità, un ritorno a principi di ingegneria che privilegiano la robustezza rispetto alla spettacolarità.

Il lavoro di DeepMind non risolve tutti i problemi, ma sposta il focus nella direzione giusta. Introduce l’idea che l’AI non debba essere perfetta, ma controllata. Che l’errore non debba essere eliminato, ma gestito. Che la complessità non debba essere aumentata indefinitamente, ma strutturata in modo intelligente. In un settore dominato da promesse grandiose e aspettative spesso irrealistiche, questo approccio ha il merito di riportare la discussione su un terreno più pragmatico.

La vera lezione, forse, è che l’intelligenza artificiale non è un problema di intelligenza. È un problema di ingegneria. E come ogni problema di ingegneria, richiede compromessi, disciplina e una certa dose di umiltà. Qualità che, curiosamente, mancano spesso proprio nei sistemi che stiamo cercando di costruire.

paper sintetico: auto-harnessing for reliable ai agents – una valutazione tecnica e strategica

Questo paper analizza l’approccio AutoHarness sviluppato da Google DeepMind per migliorare l’affidabilità degli agenti AI attraverso la generazione automatica di code harness, ovvero strutture di controllo che verificano la validità delle azioni prima della loro esecuzione. L’obiettivo principale è ridurre il tasso di errori legati a violazioni delle regole, emerso come criticità significativa nei modelli avanzati.

Il contesto sperimentale evidenzia che fino al 78% delle sconfitte in ambienti competitivi deriva da mosse illegali, indicando una debolezza strutturale nei modelli linguistici nell’interpretazione e nel mantenimento dello stato del sistema. AutoHarness affronta questo problema delegando la gestione delle regole a un livello esterno, generato automaticamente dal modello stesso.

Dal punto di vista metodologico, il sistema utilizza tecniche di code synthesis per creare harness specifici per ogni task, integrando meccanismi di rejection sampling che filtrano le azioni non valide. Questo approccio consente di separare la generazione delle strategie dalla verifica della loro validità, migliorando la robustezza complessiva.

I risultati mostrano che modelli più piccoli, dotati di harness automatizzati, possono superare modelli più grandi privi di tali strutture. Questo suggerisce un effetto “smaller-is-better” in presenza di adeguati meccanismi di controllo. Inoltre, in alcuni casi, il modello è in grado di generare interamente la policy in codice, riducendo drasticamente i costi di inferenza.

Dal punto di vista economico e industriale, AutoHarness rappresenta un potenziale punto di svolta. Riduce la dipendenza da fine-tuning costosi e da infrastrutture computazionali intensive, aprendo la strada a sistemi più efficienti e scalabili. Tuttavia, introduce nuove sfide legate alla verifica del codice generato e alla gestione della complessità.

📄 Paper principale (DeepMind)

📄 Paper correlati (contesto agenti, sicurezza, limiti LLM)