Report: LLMS GET LOST IN MULTI-TURN CONVERSATION
Ovviamente è solo provocazione intellettuale, altrimenti Rivista.AI non avrebbe senso.. ma diamo spazio a tutte le voci.
C’è un’eco fastidiosa che risuona nei corridoi ovattati delle boardroom tech, nei post LinkedIn zuccherosi dei soliti visionari da quattro soldi, e negli speech patinati delle conferenze AI: “L’era dell’enterprise AI è qui”. Ma c’è un piccolo problema, anzi, un gigantesco, sistemico, inaggirabile problema: non è vero.
Siamo nel 2025, e stiamo ancora cercando di incollare una tecnologia intrinsecamente stocastica, amnesica e imprecisa su processi aziendali che richiedono affidabilità, memoria, contesto e accountability. Un po’ come voler fare ingegneria civile con il pongo: è divertente finché non ci devi costruire sopra qualcosa che non crolli al primo soffio.
Il nuovo benchmark che ha fatto saltare il banco – o almeno dovrebbe – ha misurato le performance dei LLM in oltre 200.000 interazioni simulate, dividendo i casi tra single-turn e multi-turn. Sai cosa succede quando smetti di fare domande scollegate da quiz e provi a simulare una conversazione vera, con contesto, obiettivi ambigui e richieste progressivamente raffinate, cioè esattamente quello che succede in azienda ogni santo giorno?
Succede che le prestazioni crollano del 39%. E non è solo un discorso di accuratezza. È una frana cognitiva completa.
Gli LLM non capiscono il contesto, lo presumono. Appena sbagliano un’ipotesi iniziale, si avvitano in loop di interpretazioni errate, si fossilizzano sulle prime supposizioni e non riescono a recuperare. Sono come uno stagista brillante che però, se gli chiedi un report e capisce “riport”, ti manda un trattato sulla guerra del Vietnam invece del cashflow. E se poi gli dici che ha sbagliato, lui risponde: “Capito! Vuoi un trattato sulla guerra di Corea”.
Il problema non è che questi modelli sbagliano. Tutti sbagliano. Il problema è che non sanno di aver sbagliato, non hanno strumenti per tornare indietro e correggere la rotta, e quindi non possono essere agenti, nel senso forte del termine. Sono interfacce probabilistiche travestite da intelligenza.
Nel mondo reale – quello dove una decisione sbagliata può costare milioni – questa inaffidabilità è peggio di inutile: è pericolosa. E il bello è che i metodi proposti per “riparare” questa debolezza – prompt tuning, fine-tuning, agent chaining, memory injection – non risolvono nulla. È come pitturare una crepa strutturale col glitter: sembra tutto ok fino al primo scossone.
Eppure il teatro continua.
I keynote si moltiplicano. Gli investitori versano miliardi su progetti che vendono la promessa di un’AI autonoma, adattiva, agente. I CIO vengono pressati a “fare qualcosa con l’AI”, a implementare chatbot interni, assistenti digitali, co-pilot che – nella migliore delle ipotesi – non fanno danni. Nella peggiore? Creano costi sommersi, processi caotici e fiducia mal riposta.
Questa non è crescita naturale. Non è “il solito ciclo hype”. È una distorsione strategica alimentata da capitali in surplus, speculazione narrativa e il bisogno disperato delle Big Tech di trovare una nuova gallina dalle uova d’oro dopo la saturazione di search, ads e cloud. Quando non hai più margine di crescita, inventi una rivoluzione e ci costruisci sopra una bolla.
Eppure, basterebbe guardare le fondamenta. Gli LLM sono addestrati su testi statici, senza connessione diretta al mondo, senza possibilità di aggiornarsi in tempo reale, senza capacità intrinseca di verificare o apprendere come fanno gli umani. Non sono agenti autonomi. Non sono sistemi generalisti. Sono compressori statistici con una buona facciata UX.
Pretendere che prendano decisioni aziendali complesse è come chiedere a una scimmia bendata di pilotare un Boeing leggendo i segnali dal rumore del motore. Ogni tanto indovina, e tutti applaudono. Ma il giorno che sbaglia, finisce male.
La verità? L’enterprise AI, oggi, non è altro che una costosissima allucinazione collettiva. E più si insiste, più si rafforza un gigantesco technical debt che dovremo pagare tra qualche trimestre, quando il ROI si rivelerà una sigla da evitare come la peste.
L’AI sarà pronta quando saprà dialogare con contesto, aggiornarsi in tempo reale, ragionare con grounding e autonomia strutturata. Fino ad allora, restiamo in un limbo: pieno di slide, demo fuffa, funding e illusioni.
Serve verità, non teatro. Ma è difficile chiederla a chi ha già venduto tutto l’azienda sull’onda di questa narrativa.
Come diceva un vecchio barista sotto casa: “Se ti accorgi che stai vendendo ghiaccio agli eschimesi, è ora di cambiare business. O di cambiare latitudine.”