C’è un paradosso ben noto nella quantizzazione dei modelli linguistici: ogni volta che cambia l’architettura o il formato di precisione, la ricetta migliore per comprimere il modello senza perderne l’intelligenza va ripensata quasi da zero. Finora questo lavoro di cesello è rimasto appannaggio di esperti umani che sperimentano manualmente, ma il nuovo lavoro di MIT e NVIDIA su QDA segna una svolta concreta, affidando l’intero ciclo di progettazione e verifica dei candidati a un agente che esplora lo spazio delle soluzioni round dopo round. L’idea è particolarmente interessante se si guarda al quadro più ampio: automatizzare e rendere più efficiente questo tipo di ottimizzazione rappresenta un passo significativo verso una RSI (Recursive Self-Improvement) più accessibile e personalizzabile, dove i sistemi possono adattare i propri modelli ai vincoli hardware senza colli di bottiglia manuali.

Ciò che rende l’approccio davvero praticabile non è solo l’automazione della ricerca, ma la velocità con cui riesce a filtrare le ipotesi. Valutare un modello di ragionamento quantizzato con i metodi tradizionali richiede spesso decine di ore GPU, un costo che rende impraticabile un’esplorazione ampia. QDA aggira l’ostacolo misurando in pochi minuti la divergenza KL tra le distribuzioni d’uscita del candidato e quelle del modello originale su tracce di ragionamento a cui l’agente non ha accesso, evitando così overfitting sul set di valutazione. Solo i candidati più promettenti vengono poi sottoposti a generazioni lunghe, un passaggio fondamentale per scovare eventuali loop ripetitivi che tendono a emergere proprio nei modelli quantizzati durante i ragionamenti estesi.

Sul piano ingegneristico, l’agente non parte da un foglio bianco né deve riscrivere manualmente repository eterogenei: attinge a una libreria condivisa di tecniche PTQ già pubbliche, combinandole in modo compositivo. I risultati mostrano che questo metodo supera le migliori ricette pubbliche di 0,9 punti su W4A16, 1,4 punti su W4A8 e 2,2 punti su W3A16, richiedendo 64 ore GPU per ciascuna ricerca. Ancora più convincente è la prova su larga scala con il modello MoE da 320B parametri GLM-5.3-Flash in configurazione NVFP4 W4A4, dove QDA recupera il 98,3% dell’accuratezza FP8 contro il 96,9% del miglior checkpoint fornito dal vendor, il tutto mantenendo piena compatibilità con i kernel di serving esistenti e zero overhead a runtime.

QDA: Closed-Loop LLM Quantization Design with Agents

Comments are closed.