Cursor ha deciso di giocare una partita decisamente interessante, rilasciando come progetto open source Mixture-of-Kittens (MoK), una libreria che affronta uno dei problemi più costosi dell’intero ecosistema dei Large Language Model: il collo di bottiglia creato dai layer Mixture-of-Experts (MoE).

L’architettura Mixture-of-Experts è diventata lo standard di fatto per costruire modelli di frontiera. Invece di attivare tutti i miliardi di parametri per ogni richiesta, il modello seleziona dinamicamente soltanto un numero limitato di “esperti”, ovvero reti neurali specializzate in differenti tipologie di elaborazione. Questo approccio consente di aumentare enormemente il numero complessivo dei parametri mantenendo sotto controllo il costo computazionale di ogni token elaborato. Modelli sviluppati da OpenAI, Anthropic, Google, Alibaba e numerosi laboratori di ricerca utilizzano varianti di questa architettura, che rappresenta oggi uno dei pilastri dell’AI generativa moderna.

Il vantaggio teorico, tuttavia, nasconde un problema molto concreto. Ogni volta che il router decide quali esperti devono essere attivati, le GPU devono scambiarsi continuamente dati attraverso connessioni ad altissima velocità come NVLink o InfiniBand. Questo traffico di comunicazione finisce per rallentare l’intero processo di addestramento, tanto che in alcune configurazioni il layer MoE può assorbire oltre la metà del tempo complessivo necessario per una singola iterazione. In altre parole, le GPU più potenti del mondo trascorrono una parte significativa del loro tempo aspettando che arrivino i dati invece di eseguire calcoli.

È precisamente questo il problema che Mixture-of-Kittens affronta. Invece di considerare separatamente comunicazione tra GPU e operazioni matematiche, Cursor le fonde in un unico kernel altamente ottimizzato. L’esecuzione della moltiplicazione tra matrici viene sovrapposta allo scambio dei dati tra le GPU, eliminando gran parte dei tempi morti e riducendo drasticamente la necessità di sincronizzazioni tra CPU e acceleratori grafici. Si tratta di un’ottimizzazione apparentemente tecnica, ma che produce effetti economici enormi quando un modello viene addestrato su migliaia di GPU per settimane o mesi.

I numeri pubblicati dall’azienda sono significativi. MoK raggiunge prestazioni fino a 2,37 volte superiori rispetto ai benchmark pubblici disponibili e permette un incremento end-to-end dell’intero processo di addestramento pari a 1,41 volte rispetto alla precedente infrastruttura utilizzata internamente da Cursor. Un miglioramento del 40% in un training distribuito non rappresenta un semplice affinamento ingegneristico: significa ridurre milioni di dollari di costi energetici, diminuire il tempo necessario per sviluppare nuovi modelli e aumentare l’utilizzo effettivo dell’hardware già installato.

Dal punto di vista tecnico, MoK supporta sia il formato BF16, ormai largamente utilizzato nell’addestramento di modelli di grandi dimensioni, sia MXFP8, la nuova generazione di precisione numerica pensata per incrementare ulteriormente throughput ed efficienza energetica sulle GPU più recenti. La libreria copre inoltre sia la fase forward sia quella backward della rete neurale, rendendola immediatamente integrabile nei moderni framework di training distribuito.

La scelta più interessante, tuttavia, non riguarda l’algoritmo ma il modello di distribuzione. Cursor ha deciso di pubblicare MoK come progetto open source con licenza Apache 2.0, una delle licenze più permissive dell’ecosistema software. Chiunque potrà utilizzare, modificare e integrare il codice nei propri sistemi, anche in contesti commerciali, senza particolari restrizioni. È una strategia che ricorda quanto già visto nel mondo di Kubernetes, PyTorch e Triton, dove la condivisione dell’infrastruttura accelera l’innovazione molto più rapidamente dello sviluppo proprietario.

Questa decisione racconta anche qualcosa dell’attuale economia dell’intelligenza artificiale. Il vantaggio competitivo non deriva più esclusivamente dal possesso di un modello, ma dalla capacità di costruire strumenti che permettono di addestrarlo meglio, più rapidamente e con costi inferiori. Ogni punto percentuale recuperato nell’efficienza computazionale vale potenzialmente più di qualche punto ottenuto nei benchmark accademici. La Silicon Valley continua ad affascinarsi con classifiche, parametri e classifiche dei chatbot, mentre gli ingegneri combattono una guerra molto più concreta fatta di latenze, kernel CUDA, larghezza di banda e sincronizzazioni distribuite. È una battaglia infinitamente meno spettacolare, ma è proprio quella che determina chi riuscirà davvero a costruire la prossima generazione di modelli di frontiera.

In questo contesto Mixture-of-Kittens potrebbe diventare rapidamente uno dei progetti infrastrutturali più interessanti del panorama open source AI. Se i risultati dichiarati saranno confermati dalla comunità, molte organizzazioni che addestrano modelli MoE potranno ottenere incrementi prestazionali senza acquistare nuove GPU. In un settore in cui il costo dell’hardware Nvidia rappresenta ormai una delle principali voci di bilancio, migliorare l’efficienza software è probabilmente la forma di innovazione con il miglior ritorno sull’investimento. L’industria dell’intelligenza artificiale continua a inseguire modelli sempre più grandi; Cursor ricorda invece che, talvolta, il vero progresso nasce semplicemente dal far lavorare meglio quelli che già esistono.