Apex-Agents

Nel 2024 molti dirigenti della Silicon Valley erano convinti che la sostituzione del lavoro intellettuale fosse ormai una questione di trimestri. Le dichiarazioni di Satya Nadella, secondo cui l’AI avrebbe trasformato radicalmente le professioni della conoscenza, sembravano coerenti con il ritmo di avanzamento dei modelli linguistici. Due anni dopo, però, il panorama appare molto più sfumato. I modelli sono diventati eccellenti nella ricerca documentale, nella sintesi, nella scrittura e persino nella pianificazione multi-step, ma avvocati, consulenti strategici, investment banker e professionisti della compliance continuano a presentarsi in ufficio ogni mattina.

La nuova ricerca pubblicata da Mercor attraverso il benchmark APEX-Agents offre una spiegazione interessante e, per certi versi, controintuitiva. Il problema non sembra essere l’intelligenza dei modelli. Il problema è il lavoro.

L’industria dell’AI valuta le macchine attraverso esami, quiz, benchmark accademici e test standardizzati. In questo ambiente gli LLM hanno demolito record su record. Hanno superato esami universitari, certificazioni professionali e test di ragionamento logico che avrebbero messo in difficoltà molti esseri umani. Il mondo reale, tuttavia, funziona diversamente.

Un avvocato non riceve mai tutte le informazioni ordinate in una singola finestra di testo. Un consulente non trova il problema già strutturato. Un analista finanziario non lavora su un dataset perfettamente pulito. La realtà aziendale è un ecosistema caotico di email, documenti PDF, conversazioni Slack, cartelle condivise, policy interne, normative esterne e informazioni incomplete. Il vero lavoro della conoscenza consiste spesso nel collegare frammenti sparsi, comprendere il contesto e decidere quali informazioni siano rilevanti.

È esattamente qui che APEX-Agents ha colpito.

Le prove utilizzate nel benchmark derivano da casi reali forniti da professionisti attivi nei settori legale, finanziario e consulenziale. Le domande non richiedono semplicemente di conoscere una legge o una formula finanziaria. Richiedono di integrare informazioni provenienti da domini differenti e di costruire una risposta coerente in un ambiente operativo complesso.

I risultati sono stati sorprendenti. Nessuno dei principali laboratori AI è riuscito a superare inizialmente il 25% di accuratezza nelle prove one-shot. In altre parole, tre quarti delle volte i sistemi fornivano una risposta errata oppure non riuscivano a risolvere il problema.

Questa percentuale appare quasi ridicola se confrontata con l’entusiasmo che accompagna quotidianamente il settore. Molti osservatori immaginano già studi legali automatizzati e banche d’investimento gestite da agenti autonomi. I numeri raccontano una storia diversa. Un modello che ha ragione una volta ogni quattro tentativi non sostituisce un professionista. Al massimo assomiglia a uno stagista brillante ma imprevedibile.

La parte più interessante emerge osservando dove falliscono questi sistemi. Non sbagliano necessariamente le nozioni. Spesso possiedono le informazioni corrette. Falliscono nel processo di integrazione. Il salto cognitivo richiesto non è sapere qualcosa, ma capire come collegare dieci elementi diversi distribuiti tra strumenti, documenti e contesti differenti.

Questa distinzione è fondamentale perché smonta una convinzione molto diffusa nella cultura tecnologica contemporanea: l’idea che il lavoro professionale sia semplicemente conoscenza codificata. In realtà gran parte del valore economico prodotto dai professionisti deriva dalla gestione dell’incertezza, dalla selezione delle informazioni rilevanti e dalla costruzione del contesto.

Paradossalmente, il benchmark suggerisce che i lavori apparentemente più intellettuali potrebbero essere più resilienti del previsto. Non perché richiedano un’intelligenza superiore, ma perché operano in ambienti informativi disordinati. Il caos organizzativo, che i consulenti cercano da decenni di eliminare, sta diventando una forma involontaria di protezione occupazionale.

Naturalmente sarebbe un errore interpretare questi risultati come una sconfitta dell’AI. La storia recente insegna prudenza. Pochi mesi dopo la pubblicazione iniziale del benchmark, il nuovo modello Claude Opus 4.6 ha già modificato significativamente il quadro, raggiungendo circa il 30% di accuratezza nelle prove one-shot e una media vicina al 45% quando gli vengono concessi più tentativi. Si tratta di un salto enorme rispetto ai risultati precedenti.

L’aspetto più rilevante non è tanto il numero assoluto quanto la velocità del miglioramento. Passare da circa il 18% a quasi il 30% in pochi mesi suggerisce che il settore non sta incontrando un muro tecnologico. Sta semplicemente attraversando una fase di adattamento verso problemi più realistici.

La vera domanda strategica, quindi, non è se gli avvocati verranno sostituiti il prossimo anno. La domanda è quale percentuale del loro lavoro possa essere progressivamente assorbita da sistemi che oggi risolvono il 30% dei casi e domani potrebbero risolverne il 50%, poi il 70%.

Molte professioni non scompaiono quando l’automazione raggiunge il 100%. Cambiano molto prima. L’introduzione dei fogli elettronici non ha eliminato i contabili, ma ha trasformato radicalmente il loro lavoro. Internet non ha eliminato gli avvocati, ma ha distrutto intere categorie di attività a basso valore aggiunto.

L’errore più comune nelle discussioni sull’intelligenza artificiale consiste nel pensare in termini binari: sostituzione oppure nessuna sostituzione. L’economia reale funziona diversamente. Le professioni vengono progressivamente decomposte, frammentate e ricostruite attorno alle attività che rimangono difficili da automatizzare.

APEX-Agents mostra che il lavoro professionale è ancora sorprendentemente difficile per le macchine. Mostra però anche qualcosa di più inquietante: il divario si sta restringendo rapidamente. Oggi un modello AI assomiglia a uno stagista che ha ragione una volta su quattro. Se la traiettoria attuale continuerà, il problema non sarà capire quando arriverà il professionista artificiale perfetto. Il problema sarà capire quante organizzazioni saranno disposte a pagare un professionista umano quando una macchina avrà ragione abbastanza spesso da risultare economicamente conveniente.