Per oltre un decennio l’industria dell’intelligenza artificiale ha vissuto dentro una formula tanto semplice quanto brutale: più dati, più GPU, più parametri. Un mantra quasi religioso che ha trasformato la Silicon Valley in una specie di centrale elettrica computazionale. La strategia era lineare, quasi ingenua nella sua brutalità industriale: scalare. Se un modello non funzionava abbastanza bene, si aggiungevano altri miliardi di parametri, altri petabyte di dati, altre migliaia di GPU nei data center. L’equazione sembrava funzionare. Poi qualcosa ha iniziato a scricchiolare.
Il paradigma dominante degli ultimi anni è stato costruito attorno ai cosiddetti Transformer, l’architettura introdotta nel 2017 nel celebre paper “Attention Is All You Need” da ricercatori di Google Brain. Quella struttura matematica, apparentemente elegante nella sua semplicità, ha reso possibile la nascita di modelli linguistici giganteschi come ChatGPT, Gemini e Claude. L’idea centrale era quasi disarmante: permettere a ogni parola di “prestare attenzione” a tutte le altre parole di una sequenza, creando una rete di relazioni probabilistiche che simulano una forma di comprensione linguistica.
Funzionava. Funziona ancora. Tuttavia, come spesso accade nella storia della tecnologia, il successo iniziale ha generato un paradosso: la crescita esponenziale della potenza non ha portato a una crescita altrettanto esponenziale dell’intelligenza. I modelli diventano più grandi, ma non necessariamente più profondi nel ragionamento. Migliorano nelle benchmark, ma inciampano su problemi logici banali. Scrivono saggi impeccabili, ma confondono concetti elementari quando il contesto cambia leggermente.
Un osservatore con memoria storica potrebbe riconoscere un pattern familiare. Negli anni Sessanta e Settanta l’industria dei computer mainframe seguiva una logica simile. Più transistor significavano più potenza. Poi arrivò un momento in cui la semplice crescita lineare non bastava più. L’innovazione non venne dalla quantità di transistor, ma dall’architettura. Microprocessori, pipeline, cache. In altre parole, geometria del calcolo.
La discussione attuale attorno ai limiti dei Transformer ricorda molto quel momento storico.
Uno studio recentemente discusso anche sulle pagine di Popular Mechanics propone un’idea tanto semplice quanto radicale: l’architettura dei modelli neurali potrebbe essere limitata da una dimensione mancante. L’altezza.
La maggior parte delle reti neurali profonde è costruita come una pila di strati. I neuroni di uno strato comunicano con quelli dello strato successivo. Il flusso dell’informazione è verticale e sequenziale. Input, trasformazione, output. Una catena ordinata e disciplinata.
Il cervello biologico, invece, funziona in modo molto diverso.
Nei circuiti neuronali umani esistono connessioni dense e caotiche all’interno dello stesso strato. Neuroni che parlano con neuroni vicini. Circuiti locali che si attivano e si disattivano. Loop di feedback continui. Una sorta di dialogo permanente tra unità di calcolo.
Questo elemento manca quasi completamente nei Transformer tradizionali.
L’idea proposta da alcuni ricercatori è quindi sorprendentemente intuitiva: introdurre una terza dimensione architetturale nel cablaggio delle reti neurali. Non solo profondità e larghezza, ma anche altezza. In pratica, permettere ai neuroni all’interno dello stesso strato di comunicare tra loro attraverso connessioni circuitali, generando una struttura più simile a quella del cervello.
Il concetto potrebbe sembrare banale, ma ha implicazioni profonde.
Nel modello classico di deep learning, ogni strato è una trasformazione matematica relativamente semplice. Una funzione lineare seguita da una non linearità. La complessità emerge dalla composizione di molti strati.
In un’architettura con cablaggio intra-strato, invece, la complessità emergerebbe anche all’interno dello strato stesso. I neuroni diventerebbero parte di circuiti dinamici. Non più solo passaggi sequenziali, ma microecosistemi computazionali.
La metafora più appropriata potrebbe essere quella dell’elettronica analogica.
Un circuito non è semplicemente una sequenza di componenti. È una rete di feedback, oscillazioni, stabilizzazioni. I transistor comunicano tra loro in modi che spesso producono comportamenti emergenti difficili da prevedere con una semplice analisi lineare.
Il cervello umano sembra funzionare in modo simile.
Nei circuiti corticali esistono cicli di feedback continui che permettono ai neuroni di rielaborare l’informazione più volte. Questo processo produce ciò che alcuni neuroscienziati chiamano “inferenza iterativa”. Il cervello non genera una risposta immediata. Raffina progressivamente la sua interpretazione del mondo.
Applicare questo principio all’intelligenza artificiale significa introdurre quelli che alcuni ricercatori definiscono cicli di intuizione.
Un modello non produce una risposta in un singolo passaggio, ma attraversa una serie di loop di raffinamento interno. L’output iniziale è incerto. I cicli successivi lo migliorano. L’informazione si stabilizza progressivamente.
Una dinamica sorprendentemente simile al modo in cui gli esseri umani pensano.
La cosa interessante è che alcune delle architetture emergenti nell’AI stanno già andando in questa direzione. Le cosiddette reti neurali ricorrenti profonde, le architetture con memoria differenziabile e persino alcuni modelli agentici sperimentali stanno introducendo meccanismi di feedback interno.
Il punto è che finora queste innovazioni sono rimaste periferiche rispetto alla gigantesca macchina industriale dei Transformer.
Il motivo è semplice. Scalare è più facile che ripensare.
Costruire un modello con cento miliardi di parametri richiede investimenti colossali in hardware, ma il principio architetturale resta lo stesso. Gli ingegneri sanno cosa fare. Il software è relativamente stabile. Il processo è industrializzabile.
Ripensare la struttura fondamentale delle reti neurali, invece, significa entrare in un territorio molto meno prevedibile.
Richiede nuova teoria. Nuove tecniche di training. Nuovi algoritmi di ottimizzazione.
La Silicon Valley, notoriamente, preferisce le soluzioni che scalano rapidamente.
Tuttavia, negli ultimi due anni si è diffusa una sensazione quasi palpabile che la strategia puramente scalare stia incontrando rendimenti decrescenti.
Il costo di addestramento dei modelli più avanzati supera ormai centinaia di milioni di dollari. I data center dedicati all’AI consumano quantità di energia comparabili a piccole città. Alcune stime suggeriscono che il training dei modelli di prossima generazione potrebbe richiedere infrastrutture energetiche da gigawatt.
Non sorprende che molti ricercatori stiano iniziando a chiedersi se la vera innovazione non debba tornare all’architettura.
Un ingegnere veterano della Silicon Valley mi disse una volta una frase che merita di essere ricordata: quando una tecnologia smette di migliorare rapidamente, significa che stiamo ottimizzando l’idea sbagliata.
La storia dell’informatica è piena di esempi simili.
Il passaggio dai computer vettoriali ai microprocessori. La transizione dalle CPU monocore ai sistemi multicore. L’introduzione delle GPU nel calcolo parallelo.
Ogni volta il salto non è stato quantitativo. È stato geometrico.
L’idea del cablaggio tridimensionale nelle reti neurali potrebbe rappresentare uno di quei momenti.
Naturalmente, come spesso accade nell’ecosistema dell’intelligenza artificiale, la narrativa dell’AGI incombe come un fantasma sopra ogni discussione tecnica. Ogni nuova architettura viene immediatamente presentata come il possibile passo verso l’intelligenza artificiale generale.
Un certo scetticismo è salutare.
La storia dell’AI è costellata di promesse premature. Negli anni Ottanta si pensava che i sistemi esperti avrebbero rivoluzionato l’economia globale. Negli anni Novanta le reti neurali erano considerate una curiosità accademica. Nel 2010 pochi avrebbero immaginato che modelli linguistici generativi sarebbero diventati strumenti quotidiani.
Il progresso tecnologico raramente segue le traiettorie previste.
Quello che appare chiaro, però, è che l’industria dell’intelligenza artificiale sta entrando in una nuova fase. La fase della maturità architetturale.
La semplice espansione dei modelli non sarà sufficiente per produrre forme di intelligenza più sofisticate. Serviranno nuove geometrie computazionali. Nuovi principi di organizzazione delle reti.
In altre parole, l’AI potrebbe essere entrata nell’era dell’ingegneria neurale.
Una fase in cui il vero vantaggio competitivo non sarà soltanto la dimensione dei modelli, ma l’eleganza dei circuiti che li compongono.
Una lezione che, curiosamente, i neuroscienziati conoscono da decenni. Il cervello umano non è la macchina di calcolo più potente dell’universo. È semplicemente la meglio cablata.