LLM Architecture Gallery | Sebastian Raschka, PhD

Chi osserva il mercato dei large language models con un minimo di cinismo strategico nota subito una contraddizione elegante: all’esterno tutto cambia rapidamente, all’interno quasi nulla. Le interfacce migliorano, le demo diventano più teatrali, i benchmark salgono come quotazioni speculative in una bolla ben raccontata; ma sotto la superficie, dietro il sipario delle chat conversazionali, si muove una macchina sorprendentemente conservatrice. Non è immobilismo, sia chiaro, ma una forma sofisticata di iterazione incrementale che l’industria tecnologica conosce bene fin dai tempi dei microprocessori.

Il lavoro di Sebastian Raschka, con la sua “LLM Architecture Gallery”, mette a nudo questa realtà con una chiarezza quasi imbarazzante per chi continua a vendere narrazioni di rottura radicale. La provocazione implicita è semplice e brutale: dal GPT-2 fino ai più recenti DeepSeek V3 e Llama 4, la struttura portante resta quella del transformer. Cambiano i dettagli, si raffinano i componenti, si ottimizzano i flussi; ma l’architettura di base, quella introdotta da Google Brain nel 2017 con “Attention is All You Need”, è ancora lì, come un sistema operativo concettuale da cui nessuno è davvero riuscito a emanciparsi.

La questione non è banale, perché tocca il cuore dell’innovazione tecnologica. In altri settori, dalla chimica ai semiconduttori, si distinguono chiaramente le rivoluzioni dalle ottimizzazioni. Qui, invece, la linea è sfumata, e spesso deliberatamente. Il transformer è diventato ciò che il TCP/IP è stato per Internet: una base talmente solida da rendere ogni alternativa economicamente rischiosa e strategicamente discutibile. Nessun CEO sano di mente smonta un’infrastruttura che funziona solo per inseguire l’eleganza teorica.

Guardando le architetture nella gallery, emerge una convergenza quasi darwiniana. I modelli differiscono nei dettagli, ma condividono un DNA comune. I meccanismi di attenzione restano il centro gravitazionale; la normalizzazione si evolve lentamente, con variazioni su LayerNorm o RMSNorm; il routing dei Mixture-of-Experts introduce una forma di specializzazione modulare; le ottimizzazioni di memoria e inferenza riflettono più vincoli hardware che intuizioni teoriche. In altre parole, l’evoluzione è guidata tanto da NVIDIA quanto dalla matematica.

Prendiamo il confronto tra Llama 4 Maverick e DeepSeek V3. Entrambi adottano Mixture-of-Experts, una tecnica che, sulla carta, promette efficienza scalabile selezionando sotto-reti specializzate per ogni token. La differenza sta nei dettagli: Llama utilizza Grouped-Query Attention, mentre DeepSeek introduce Multi-Head Latent Attention. Due varianti dello stesso tema, più che due paradigmi distinti. È come confrontare due motori turbo: entrambi funzionano sullo stesso principio, ma uno consuma leggermente meno carburante.

Il Mixture-of-Experts merita una parentesi più ampia, perché rappresenta uno dei pochi tentativi credibili di rompere la linearità del scaling. L’idea è elegante: invece di attivare l’intera rete neurale per ogni input, si selezionano solo alcuni “esperti”. Questo riduce i costi computazionali e aumenta la capacità complessiva. Tuttavia, la realtà operativa è meno romantica. Il routing introduce complessità, instabilità e, soprattutto, problemi di bilanciamento del carico. Non a caso, ogni implementazione sembra reinventare il compromesso tra efficienza e affidabilità.

Il caso di Grok 2.5 è emblematico. Solo otto esperti nel suo MoE, contro i 128 di Qwen3. Una scelta che può sembrare conservativa, quasi anacronistica rispetto alla corsa all’espansione degli esperti. Raschka osserva che questa configurazione riflette una generazione precedente di design. Ma forse è anche un segnale di pragmatismo. Più esperti significano maggiore complessità di orchestrazione, e non sempre il guadagno marginale giustifica il costo operativo.

In parallelo, emergono micro-innovazioni che raccontano una storia più sottile. L’uso di moduli come SwiGLU, le variazioni nelle dimensioni degli embedding, il numero di blocchi transformer, sono tutti parametri che incidono sulle prestazioni. Tuttavia, il loro impatto è spesso difficile da isolare, perché interagiscono con dataset, tecniche di training e hyperparameter tuning in modo non lineare. Qui si apre un problema strutturale: la mancanza di trasparenza.

Le aziende pubblicano architetture, ma raramente condividono i dettagli completi del training. Dataset proprietari, pipeline di filtraggio, strategie di reinforcement learning, tutto resta opaco. Il risultato è che confrontare modelli diventa un esercizio più vicino alla finanza che alla scienza. Si osservano i risultati, si inferiscono le cause, si costruiscono narrazioni. In questo senso, l’analisi architetturale diventa una delle poche ancore di oggettività.

La gallery di Raschka svolge quindi una funzione quasi epistemologica. Non si limita a visualizzare diagrammi; costringe a guardare la struttura, a separare il marketing dalla meccanica. È un esercizio salutare in un’epoca in cui ogni nuova release viene presentata come un salto quantico. In realtà, il progresso è spesso incrementale, cumulativo, e sorprendentemente conservatore.

Questo non significa che non ci siano innovazioni reali. Significa che l’innovazione si è spostata. Non è più nella struttura di base, ma nei margini: efficienza computazionale, ottimizzazione hardware, tecniche di inferenza, compressione dei modelli. Il vero campo di battaglia non è il design del transformer, ma la sua industrializzazione. Chi riesce a ridurre il costo per token vince. Chi migliora la latenza conquista il mercato enterprise. Chi ottimizza la memoria domina il mobile.

Una frase che vale più di molte slide: “l’AI non è più un problema di intelligenza, ma di costo marginale”. Ed è qui che si gioca la partita.

Il parallelo storico più interessante è forse quello con l’industria automobilistica. Negli anni ’50 e ’60, ogni produttore sperimentava architetture radicalmente diverse. Poi, gradualmente, il motore a combustione interna si è standardizzato, e l’innovazione si è spostata su efficienza, sicurezza, design. Oggi nessuno si sorprende se due auto condividono lo stesso schema di base. Nel mondo degli LLM stiamo vivendo un momento analogo, solo con una velocità di iterazione molto più alta.

Naturalmente, questo scenario solleva una domanda strategica che pochi hanno il coraggio di affrontare apertamente: siamo vicini a un plateau architetturale? Se la risposta è sì, allora il vantaggio competitivo si sposterà sempre più verso dati proprietari, infrastruttura e distribuzione. Se la risposta è no, allora qualcuno, da qualche parte, sta lavorando a una rottura che potrebbe rendere obsoleto il transformer. Ma al momento, non ci sono segnali concreti di questa discontinuità.

Nel frattempo, l’ecosistema continua a espandersi. Modelli come Gemma 3, Mistral Small e GLM-5 mostrano variazioni sul tema, adattate a diversi vincoli di mercato. Alcuni puntano sulla leggerezza, altri sulla scala, altri ancora su nicchie specifiche. È una diversificazione più economica che scientifica.

In questo contesto, la domanda posta da Raschka assume un peso quasi filosofico: stiamo davvero innovando, o stiamo semplicemente raffinando? La risposta, come spesso accade, è scomoda. Stiamo facendo entrambe le cose, ma con una prevalenza netta della seconda. L’innovazione radicale è rara, costosa e rischiosa. L’ottimizzazione incrementale è prevedibile, misurabile e finanziabile.

Chi guida aziende tecnologiche lo sa bene. Il capitale ama la prevedibilità. I venture capitalist possono raccontare storie di rivoluzione, ma i bilanci premiano l’efficienza. In questo senso, il transformer è diventato una piattaforma industriale, non più un esperimento accademico. E come tutte le piattaforme mature, tende a stabilizzarsi.

Resta però un elemento di ironia sottile, quasi inevitabile. Mentre l’industria si concentra su micro-ottimizzazioni architetturali, il dibattito pubblico continua a parlare di intelligenza generale, coscienza artificiale e sostituzione del lavoro umano. Due livelli completamente diversi, che raramente si incontrano. Da un lato ingegneri che discutono di attention heads e latency; dall’altro media che evocano scenari da fantascienza.

Forse la verità sta nel mezzo, come sempre. Gli LLM non stanno diventando intelligenti nel senso umano del termine, ma stanno diventando incredibilmente efficienti nel simulare l’intelligenza. Ed è questa simulazione, più che l’intelligenza stessa, a generare valore economico.

Guardare le architetture, quindi, non è un esercizio accademico. È un modo per capire dove sta andando davvero il settore. Non nelle promesse, ma nei diagrammi. Non nelle demo, ma nei blocchi transformer. Non nelle conferenze, ma nelle scelte di design.

In definitiva, la lezione più interessante della LLM Architecture Gallery è anche la più controintuitiva. L’innovazione più potente è spesso invisibile. Non fa rumore, non cambia le interfacce, non genera hype immediato. Si accumula lentamente, strato dopo strato, fino a diventare inevitabile.

E quando diventa inevitabile, nessuno la chiama più innovazione. La chiamano standard.

Risorse


LLM Architecture Gallery | Sebastian Raschka, PhD
https://sebastianraschka.com/llm-architecture-gallery/

The Big LLM Architecture Comparison
https://magazine.sebastianraschka.com/p/the-big-llm-architecture-comparison