Tag: METR

METR la durata dei compiti che le AI possono completare raddoppia ogni 7 mesi: cosa significa per il futuro dell’automazione

Parlare di intelligenza artificiale oggi significa spesso cadere nella trappola di numeri astratti, benchmark incomprensibili e promesse fumose. Per fortuna, c’è un indicatore semplice, quasi banale, che invece taglia il rumore: la durata dei compiti che un agente AI riesce a portare a termine autonomamente con una affidabilità del 50%. Non è una metrica glamour come “numero di parametri” o “accuratezza sui test”, ma forse è la più significativa per capire dove siamo e soprattutto dove stiamo andando. Un paper recente, noto come metr paper, ha dimostrato con dati solidi che questa durata sta raddoppiando ogni 7 mesi, e da ben 6 anni. Tradotto in soldoni, significa che in meno di un decennio avremo agenti AI in grado di eseguire autonomamente compiti complessi che oggi richiedono giorni o settimane di lavoro umano.

La delusione dell’intelligenza artificiale generativa sta crollando

Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity

Hmmm, sì, la grande illusione collettiva dell’intelligenza artificiale generativa sta cominciando a mostrare le crepe, e non è una bella scena. La narrazione scintillante che ci è stata servita a colpi di conferenze e report patinati sta franando sotto il peso di una realtà imbarazzante. Gli stessi programmatori che, con l’aria di sacerdoti del nuovo culto, giuravano di essere diventati dei semidei grazie agli strumenti AI, hanno appena ricevuto un sonoro schiaffo. METR, un laboratorio di ricerca poco incline alla retorica da keynote, ha pubblicato un trial randomizzato che ha fatto saltare le maschere: gli sviluppatori erano convinti di essere il 20 per cento più veloci usando AI, ma in realtà erano il 19 per cento più lenti. Non stiamo parlando di dilettanti allo sbaraglio, ma di professionisti esperti. La cosa più inquietante? Continuavano a giurare che stavano volando, quando in realtà arrancavano nel fango digitale. Autoconvincimento puro, un’ipnosi collettiva degna di un illusionista da palcoscenico.

CC BY-NC-SA 4.0 DEED | Disclaimer Contenuti | Informativa Privacy | Informativa sui Cookie