La ricerca sulle scaling law dell’intelligenza artificiale entra in una fase meno spettacolare, ma decisiva per chi sviluppa agenti autonomi. Il nuovo lavoro How Data Scales in Agentic Reinforcement Learning: Laws and Synthesis Strategies, disponibile su DAIR Academy, affronta una questione che riguarda direttamente i costi di addestramento e la qualità dei sistemi agentici: come distribuire il budget destinato ai dati per ottenere il massimo miglioramento possibile. Il risultato più interessante è una gerarchia tra tre dimensioni della generazione dei dati, con gli ambienti al primo posto, i task al secondo e le traiettorie al terzo. In termini operativi, ampliare il numero di mondi nei quali un agente impara può offrire benefici superiori rispetto alla semplice moltiplicazione degli esercizi o delle esecuzioni.

Per comprendere la portata del risultato bisogna distinguere il reinforcement learning tradizionale dall’addestramento di agenti che interagiscono con ambienti complessi. Un modello linguistico può essere ottimizzato su risposte valutabili attraverso criteri relativamente diretti; un agente, invece, deve compiere azioni successive, osservare gli effetti delle proprie decisioni e correggere il comportamento quando il percorso intrapreso non produce il risultato atteso. Una traiettoria rappresenta una sequenza di interazioni attraverso cui il sistema tenta di completare un compito. Un task definisce l’obiettivo da raggiungere, mentre l’ambiente stabilisce il contesto nel quale l’agente opera, comprese le condizioni che determinano le conseguenze delle sue azioni. Confondere queste tre dimensioni significa trattare come equivalenti dati che, dal punto di vista dell’apprendimento, possono avere un valore molto diverso.

La distinzione ha conseguenze economiche immediate. Generare altre traiettorie nello stesso ambiente può aumentare il volume del dataset senza ampliare in misura equivalente le situazioni che il modello è in grado di affrontare. Se un agente viene addestrato ripetutamente su varianti molto simili di un problema, rischia di migliorare soprattutto nella configurazione già conosciuta. Un ambiente realmente diverso, al contrario, può costringerlo a confrontarsi con regole, vincoli e conseguenze differenti. L’obiettivo non è quindi accumulare più esperienze in senso quantitativo, ma introdurre variazioni che modifichino ciò che il sistema deve imparare per raggiungere il risultato. È una differenza sottile nella progettazione del dataset, ma potenzialmente rilevante nella capacità di trasferire le competenze a situazioni nuove.

Secondo i risultati descritti dagli autori, l’ordine delle scaling law rimane coerente al variare delle dimensioni dei modelli, delle famiglie architetturali, dei domini applicativi e degli algoritmi di ottimizzazione considerati, tra cui PPO e GRPO. Questa convergenza rende il lavoro particolarmente interessante, perché suggerisce che il vantaggio della diversità ambientale non dipenda esclusivamente da una specifica configurazione sperimentale. Occorre tuttavia distinguere la robustezza osservata all’interno degli esperimenti dalla validità universale di una legge: per stabilire quanto il risultato sia generalizzabile servono il dettaglio dei protocolli, le metriche utilizzate e la verifica delle condizioni nelle quali gli esponenti sono stati stimati.

Un altro elemento riguarda la natura della diversità. Gli autori indicano che variare la struttura di uno stesso mondo può produrre benefici paragonabili all’introduzione di nuovi task. Questo passaggio evita un’interpretazione troppo semplicistica del risultato: moltiplicare gli ambienti non significa necessariamente costruire ogni volta una simulazione completamente nuova. È possibile intervenire sulle regole operative e sulle condizioni che governano un contesto, purché le modifiche introducano differenze sostanziali per il processo decisionale. Per chi sviluppa agenti destinati ad ambienti software, workflow aziendali o strumenti di automazione, la questione diventa quindi progettare variazioni che mettano alla prova strategie differenti, anziché produrre soltanto nuove istanze superficiali dello stesso esercizio.

Il lavoro affronta anche un problema meno evidente, ma cruciale per chi costruisce pipeline di addestramento: i dati sintetici non conservano necessariamente lo stesso valore informativo quando la loro quota aumenta. Gli autori introducono fattori di sconto per confrontare l’efficienza dei diversi metodi di sintesi e stimano soglie del rapporto tra dati sintetici e dati reali oltre le quali l’addestramento può entrare in una fase di collasso. Le soglie cambiano sensibilmente a seconda della dimensione considerata. Secondo i risultati riportati, gli ambienti sintetici possono mantenere un vantaggio fino a rapporti molto più elevati rispetto alle traiettorie sintetiche, prima che emerga un deterioramento. La distinzione è importante: produrre un ambiente artificiale nel quale verificare comportamenti può essere più utile che moltiplicare sequenze generate da un modello, ma soltanto se quell’ambiente conserva una capacità effettiva di mettere alla prova la policy.

La conseguenza pratica è una nuova forma di ottimizzazione del budget computazionale. Invece di destinare automaticamente la maggior parte delle risorse alla generazione di nuove traiettorie, il metodo proposto distribuisce il budget tra le diverse dimensioni dei dati sulla base delle relazioni di scaling stimate. Gli autori descrivono questa strategia come una ricetta di allocazione ottimale, costruita secondo una logica paragonabile a quella resa celebre dalle scaling law di Chinchilla per il rapporto tra parametri del modello e dati di addestramento. Nei test riportati, la strategia raggiunge un’efficienza computazionale fino a 1,7 volte superiore rispetto all’approccio convenzionale che punta soprattutto ad aumentare le traiettorie. Il dato non significa che qualsiasi sistema agentico possa ottenere automaticamente lo stesso guadagno, né che i costi operativi diminuiscano in proporzione identica: indica un vantaggio misurato nelle condizioni sperimentali dello studio, che merita di essere verificato su altri modelli e contesti applicativi.

Per le imprese che stanno investendo in agenti capaci di operare su codice, browser e applicazioni aziendali, la ricerca suggerisce una revisione concreta delle priorità. Il collo di bottiglia potrebbe non essere la capacità di generare abbastanza esperienze, ma il modo in cui vengono progettate e distribuite. Un agente addestrato su migliaia di esecuzioni simili può diventare molto efficace in un ambiente controllato senza acquisire la robustezza necessaria per affrontare un sistema diverso, un’interfaccia modificata o un processo con vincoli imprevisti. La diversità degli ambienti, quando è costruita con criteri rigorosi, può ridurre questa fragilità e migliorare la capacità di generalizzazione. Il punto resta empirico: la varietà utile non coincide con la complessità artificiale, e un ambiente sintetico mal progettato può introdurre scorciatoie che il modello impara a sfruttare anziché competenze trasferibili.

La notizia scientifica, dunque, riguarda anche l’economia dello sviluppo dell’intelligenza artificiale agentica. Finora molte pipeline hanno seguito una regola intuitiva: più tentativi, più possibilità di apprendere. Le scaling law presentate da Bowei He e dai suoi coautori mettono in discussione questa impostazione, mostrando che la quantità grezza di esperienza non basta a descrivere il rendimento dell’addestramento. Il valore dei dati dipende anche dalla loro struttura e dal costo necessario per produrli. Per chi deve scegliere dove investire GPU e tempo di ricerca, la differenza può diventare significativa: non sempre serve far lavorare un agente più a lungo; talvolta occorre metterlo di fronte a un mondo che non ha ancora imparato a prevedere.

Il paper, How Data Scales in Agentic Reinforcement Learning: Laws and Synthesis Strategies, è stato accettato a NeurIPS 2026, secondo le informazioni rese pubbliche dagli autori.

Per chi sviluppa sistemi agentici o progetta dati sintetici per il reinforcement learning, è una lettura rilevante perché sposta il problema dalla semplice espansione del dataset alla progettazione razionale dell’esperienza di apprendimento. La prossima generazione di agenti potrebbe dipendere meno dal numero di volte in cui ripete un compito e più dalla qualità dei mondi nei quali è costretta a imparare a risolverlo.