Il costo di un agente di coding non dipende soltanto dal prezzo del modello che scrive il codice. Una parte significativa della spesa nasce dal modo in cui l’agente interagisce con il terminale, recupera i risultati dei test e gestisce la cronologia delle proprie operazioni. NVIDIA Labs affronta questo problema con SoL-Pi, un’estensione open source che interviene sull’infrastruttura di esecuzione degli agenti e che, nei test pubblicati, ha ridotto il traffico di token fino al 49% e i costi API di circa un terzo rispetto alla configurazione di riferimento. Il lavoro, descritto nel paper SoL-Pi: Recursively Scaling Auto-Research Loops for Efficient Agent Harness, pubblicato su arXiv il 17 settembre 2026, introduce una questione rilevante per le imprese: quanto stiamo pagando per l’intelligenza del modello e quanto, invece, per l’inefficienza del sistema che la utilizza?

Il problema emerge soprattutto nelle sessioni di sviluppo prolungate. Un agente modifica un file, esegue i test, riceve un errore e deve interpretarlo prima di intervenire nuovamente. Nel frattempo, il contesto può riempirsi di output del compilatore, risultati di comandi già eseguiti e informazioni che hanno perso utilità operativa. Quando questi contenuti vengono riproposti nelle chiamate successive, il modello consuma risorse per rileggere dati già disponibili. Il costo cresce con la durata della sessione e con la quantità di lavoro delegata, senza che a ogni incremento corrisponda un miglioramento del codice prodotto. È una forma di inefficienza particolarmente insidiosa perché resta spesso nascosta dietro una metrica apparentemente semplice, il prezzo per milione di token.

SoL-Pi sposta quindi l’ottimizzazione dal modello all’harness, il livello software che coordina strumenti, chiamate API, risultati e gestione del contesto. La soluzione nasce da un processo di ricerca automatizzata nel quale gli autori hanno sperimentato diverse modifiche al funzionamento degli agenti, selezionando quattro meccanismi ritenuti utili anche al di fuori dell’ambiente di sviluppo originale. Il primo, Action Fusion, consente di combinare una modifica al codice con il relativo comando di verifica, evitando un passaggio intermedio quando le operazioni possono essere eseguite insieme. Il beneficio non consiste nel chiedere al modello di ragionare meno, ma nel ridurre le chiamate necessarie per completare una sequenza prevedibile.

Il secondo meccanismo, ObservationPack, affronta il problema dei risultati voluminosi. Invece di riproporre integralmente un output del terminale nelle richieste successive, il sistema archivia il contenuto e mantiene nel contesto un riferimento accompagnato da un estratto sintetico. L’agente può recuperare le parti originali quando servono, senza dover trasportare continuamente l’intero risultato. La distinzione è importante: comprimere un contesto non dovrebbe significare perdere informazioni necessarie per diagnosticare un errore. Il vantaggio economico nasce dalla riduzione della ripetizione, mentre la possibilità di consultare nuovamente i dati conservati mantiene accessibile la fonte della diagnosi.

Gli altri due interventi agiscono sulla gestione delle evidenze e sulla durata della memoria operativa. L’Evidence-Preserving Reducer sintetizza registrazioni diagnostiche conservando riferimenti verificabili alle fonti archiviate; l’Online Context Compact individua momenti nei quali la compattazione del contesto può ripagare il costo della sua riscrittura. Quest’ultimo punto merita attenzione perché la cache non è gratuita in termini economici: il rapporto tra costo di scrittura e costo di lettura può rendere conveniente mantenere una cronologia estesa oppure ricomporla prima di proseguire. La strategia dipende dal modello, dalla struttura delle chiamate e dal lavoro ancora da svolgere. Una regola uniforme applicata a ogni sessione rischierebbe di sprecare proprio le risorse che vorrebbe risparmiare.

I risultati del paper sono significativi, ma vanno letti senza trasformarli in una promessa commerciale universale. Nella valutazione EdgeBench, composta da 51 attività, gli autori riportano una riduzione del traffico di token compresa tra il 44,7% e il 49%, con una diminuzione dei costi API di circa un terzo e prestazioni comparabili alla configurazione Pi di riferimento nelle condizioni dichiarate. Il confronto utilizza modelli e harness specifici, mentre i costi dipendono dai prezzi API considerati nello studio. Il risparmio effettivo di un’impresa può quindi essere maggiore o minore, soprattutto quando cambiano la complessità dei task, il numero di verifiche, il tasso di errore e il peso delle operazioni non riconducibili alla generazione del codice. Anche il termine “comparabili” richiede cautela: non equivale a dimostrare che ogni attività venga completata con identica qualità o con lo stesso tasso di successo.

La distribuzione open source rende l’esperimento interessante anche per chi sviluppa prodotti basati su agenti. Il codice è disponibile nel repository pubblico di NVIDIA Labs ed è progettato come estensione autonoma del framework Pi, non come distribuzione ufficiale del progetto originale. Le funzionalità sono disattivate per impostazione predefinita e devono essere abilitate nella configurazione. Questa scelta consente di sperimentare gli interventi separatamente, misurando il contributo di ciascuno prima di introdurlo in un ambiente produttivo. Le imprese dovrebbero prestare particolare attenzione alla gestione degli archivi locali, alla conservazione dei log e all’eventuale uso di modelli secondari per la sintesi diagnostica, soprattutto quando gli agenti lavorano su repository proprietari o codice soggetto a vincoli di riservatezza.

Per un CTO, la metrica da introdurre non è semplicemente il costo medio di una chiamata, ma il costo per attività completata correttamente. Un sistema che riduce i token ma aumenta le correzioni manuali può risultare più caro; un agente che impiega qualche chiamata in più per verificare il risultato può invece produrre un risparmio complessivo se evita errori successivi. La valutazione deve quindi collegare spesa API, tempo di esecuzione, tasso di completamento e interventi umani. È qui che SoL-Pi offre il contributo più utile: ricorda che l’efficienza degli agenti non si esaurisce nella capacità del modello di generare una soluzione, ma dipende anche dalla qualità dell’architettura che governa il lavoro.

Il mercato dell’intelligenza artificiale ha dedicato una parte considerevole della propria attenzione alla competizione tra modelli sempre più capaci. Con gli agenti autonomi, però, la produttività dipende anche da ciò che accade tra una risposta e la successiva. Se il sistema ripete informazioni già note, legge log irrilevanti o apre turni evitabili, una parte del budget viene assorbita dalla gestione del processo anziché dalla risoluzione del problema. SoL-Pi mostra che questo livello può essere ottimizzato con interventi ingegneristici misurabili, senza richiedere necessariamente un modello più grande. Per le aziende che intendono moltiplicare gli agenti nei processi di sviluppo, la differenza tra un progetto sostenibile e uno troppo costoso potrebbe dipendere anche da questa efficienza meno visibile.

Fonte scientifica: SoL-Pi, paper su arXiv. Codice: repository NVIDIA Labs. Pagina del progetto: SoL-Pi.

Approfondisci: https://regolo.ai/cut-coding-agent-token-costs-sol-pi-regolo/

Rivista.AI Research è l'area di ricerca e analisi di Rivista.AI, dedicata allo studio delle trasformazioni tecnologiche, economiche e industriali legate all'intelligenza artificiale. Attraverso l'analisi di dati, documenti, fonti istituzionali e informazioni di mercato, sviluppa approfondimenti, inchieste e research paper sui modelli di business, sulle dinamiche competitive e sulle implicazioni strategiche dell'innovazione per imprese e istituzioni.

Comments are closed.