Modelli sempre più grandi significano infrastrutture sempre più costose. Più parametri implicavano GPU sempre più potenti, consumi energetici crescenti e una dipendenza quasi assoluta dal cloud. Con il rilascio di Bonsai 27B, PrismML prova invece a ribaltare questa narrativa, dimostrando che la vera innovazione potrebbe non essere costruire modelli giganteschi, ma renderli incredibilmente efficienti. Se i risultati saranno confermati nell’uso reale, la conseguenza potrebbe essere molto più profonda di un semplice miglioramento tecnico: riportare l’intelligenza artificiale direttamente nei dispositivi degli utenti.

Il dato che ha attirato immediatamente l’attenzione della comunità tecnica è sorprendente. Un modello da 27 miliardi di parametri, una dimensione che fino a pochi mesi fa richiedeva workstation professionali o server equipaggiati con GPU ad alta memoria, viene distribuito in una versione da appena 3,9 GB, sufficiente per funzionare perfino su un iPhone 17 Pro Max. Nella variante ternaria, leggermente più pesante con circa 5,9 GB, il modello raggiunge velocità di circa 26 token al secondo su un MacBook con chip Apple M5 Pro, prestazioni assolutamente utilizzabili per attività quotidiane di coding, scrittura e ragionamento.

Per comprendere la portata dell’annuncio bisogna ricordare che un normale modello da 27 miliardi di parametri in precisione FP16 richiede circa 54 GB di memoria solamente per essere caricato. È un quantitativo superiore alla RAM della maggior parte dei notebook oggi in commercio. PrismML riesce invece a ridurre l’occupazione di memoria di circa quattordici volte grazie a una tecnologia di compressione sviluppata a partire da proprietà intellettuale del California Institute of Technology.

L’approccio è radicale. Nei modelli tradizionali ogni peso viene rappresentato con numeri floating point a 16 bit. Bonsai elimina quasi completamente questa rappresentazione continua. Nella versione binaria ogni peso può assumere soltanto due valori, positivo o negativo. Nella versione ternaria compare anche uno stato neutro, cioè lo zero. Ogni gruppo di 128 pesi condivide inoltre un unico fattore di scala da 16 bit. Il risultato finale è una rappresentazione di appena 1,125 bit per peso nella variante binaria e 1,71 bit in quella ternaria.

Tradotto in termini meno accademici, mentre un modello tradizionale può scegliere tra decine di migliaia di possibili valori per ogni parametro, Bonsai lavora con appena tre stati fondamentali: negativo, nullo o positivo. Sarebbe naturale aspettarsi un crollo della qualità. È qui che arriva la vera sorpresa.

Secondo i benchmark pubblicati da PrismML, la versione ternaria raggiunge circa il 94,6% delle prestazioni del modello originale a piena precisione, con una media di 80,49 punti su quindici benchmark dedicati a conoscenza generale, matematica, coding, reasoning e utilizzo di strumenti. La variante completamente binaria mantiene comunque risultati competitivi con 76,11 punti, dimostrando che la perdita qualitativa è molto più contenuta di quanto molti ricercatori avrebbero previsto fino a pochi anni fa.

Particolarmente interessanti risultano le prove matematiche e di programmazione. Nei test AIME 2025 e AIME 2026, derivati dall’American Invitational Mathematics Examination, Bonsai Ternary raggiunge circa il 93,7% dei risultati ottenuti da modelli molto più pesanti come Qwen 3.6. Anche nel coding il divario rimane ridotto, segnale che la compressione estrema non compromette in maniera significativa le capacità logiche.

La vera novità, tuttavia, non riguarda soltanto la riduzione della memoria. PrismML comprime tutta la rete neurale, senza lasciare componenti “privilegiate” in alta precisione. Nella maggior parte dei modelli quantizzati oggi disponibili, layer particolarmente delicati come embedding, attention o language head rimangono infatti in formato tradizionale per preservare la qualità, aumentando inevitabilmente il peso finale. Bonsai elimina completamente questa eccezione, adottando una compressione end-to-end che rende il modello realmente leggero.

Anche l’architettura contribuisce alle prestazioni. Circa il 75% dei layer utilizza attenzione lineare invece della classica attenzione quadratica, consentendo di gestire finestre contestuali fino a 262.000 token direttamente su dispositivi consumer. È un valore che fino a poco tempo fa sembrava incompatibile con smartphone o notebook privi di GPU dedicate.

Le prove pratiche confermano un comportamento interessante. Nella programmazione il modello mostra una caratteristica ormai tipica delle migliori AI moderne: raramente produce codice perfetto al primo tentativo, ma migliora rapidamente attraverso iterazioni successive. Per applicazioni locali, dove il costo delle richieste API è pari a zero e la privacy rimane completamente sotto il controllo dell’utente, questo limite perde molta della sua importanza.

Anche nella scrittura creativa Bonsai sorprende. Pur non raggiungendo la fantasia dei modelli frontier più avanzati nei prompt completamente aperti, mantiene una coerenza narrativa notevole, costruendo storie con struttura, ritmo e continuità logica che, secondo i test pubblicati, risultano comparabili a modelli cloud molto più costosi nelle configurazioni a basso effort.

PrismML accompagna inoltre il rilascio con DSpark, un sistema di speculative decoding che utilizza un modello leggero come “bozza” delle risposte, lasciando al modello principale il solo compito di verificarle. Sulle GPU NVIDIA H100 il throughput aumenta di circa 37% senza alcuna perdita qualitativa. Su Apple Silicon questa funzione non è ancora attivata di default, ma rappresenta una direzione estremamente promettente per il futuro dell’inferenza locale.

Il dato probabilmente più significativo non arriva però dai benchmark, bensì dal mercato. Il CEO di PrismML, Babak Hassibi, ha confermato che sono in corso colloqui preliminari con Apple per valutare l’integrazione della tecnologia di compressione nei futuri sistemi di AI on-device. È un dettaglio che cambia completamente la prospettiva. Apple ha costruito gran parte della propria strategia sull’elaborazione locale dei dati per motivi di privacy ed efficienza energetica. Se una tecnologia come quella di Bonsai dovesse entrare realmente nell’ecosistema Apple, l’intero equilibrio competitivo dell’intelligenza artificiale consumer potrebbe spostarsi dal cloud verso il dispositivo.

La domanda che emerge è quasi provocatoria. Per oltre due anni il mercato ha inseguito modelli sempre più grandi, data center sempre più costosi e GPU sempre più rare. Forse la vera rivoluzione non consiste nell’aggiungere altri miliardi di parametri, ma nel fare molto di più con molti meno bit. In tecnologia capita spesso che vinca chi costruisce il motore più potente. Molto più raramente vince chi riesce a costruire il motore che entra nel cofano di qualsiasi automobile. Bonsai 27B suggerisce che la seconda possibilità potrebbe essere molto più vicina di quanto l’industria fosse disposta ad ammettere.