Come abbiamo scritto recentemente Ilya Sutskever, co-fondatore di OpenAI e figura di spicco nel campo dell’intelligenza artificiale, ha recentemente raccolto 1 miliardo di dollari per la sua nuova società, Safe Super Intelligence (SSI). Questa ingente somma, sebbene considerevole, è indicativa di una scelta strategica mirata: invece di puntare sui tradizionali modelli di deep learning basati su reti neurali, Sutskever potrebbe orientarsi verso un approccio neuro-simbolico. Ciò appare particolarmente plausibile per una serie di motivi legati ai costi, alle tendenze emergenti nel campo dell’IA e ai vantaggi specifici che l’AI neuro-simbolica può offrire.

Costi proibitivi per addestrare modelli basati su reti neurali

L’addestramento di modelli di intelligenza artificiale all’avanguardia richiede risorse computazionali enormi e costi finanziari altrettanto elevati. I modelli di prossima generazione, che superano i 10^26 FLOP (operazioni in virgola mobile al secondo), possono richiedere fino a 1 miliardo di dollari per singola sessione di training.

Ad esempio, il modello GPT-3, sviluppato da OpenAI, ha richiesto una potenza di calcolo significativa per il suo addestramento, stimata intorno ai 3.14 x 10^23 FLOP. Questo valore è già estremamente elevato, ma con la crescita esponenziale della complessità dei modelli, è previsto che i modelli futuri, per esempio GPT-4 o successivi, richiedano ordini di grandezza ancora superiori, portando la stima fino a 10^26 FLOP o oltre.

Queste stime derivano da studi come quelli condotti da OpenAI nel 2020, in cui i ricercatori hanno analizzato la crescita dei requisiti computazionali per i modelli di deep learning negli ultimi anni, riscontrando un raddoppio della potenza necessaria ogni circa 3-4 mesi. Questo trend suggerisce che, per mantenere il ritmo di miglioramento delle prestazioni dei modelli, saranno necessari livelli di calcolo estremamente elevati.

Anche con budget significativi, le limitazioni tecnologiche, come la disponibilità di GPU e la gestione del calore generato da un tale sforzo computazionale, pongono sfide pratiche. Inoltre, il tempo richiesto per l’addestramento diventerebbe proibitivo, rallentando l’innovazione.

Questi fattori stanno spingendo la ricerca verso metodi più efficienti, come l’AI neuro-simbolica. Poiché questo approccio richiede meno potenza computazionale pur mantenendo, o addirittura migliorando, le capacità dei modelli IA, esso rappresenta una soluzione praticabile e sostenibile.

Con un budget di 1 miliardo di dollari, SSI non avrebbe la possibilità di sostenere tali costi per l’addestramento di modelli su larga scala basati esclusivamente su reti neurali tradizionali. Questo scenario rende poco praticabile l’approccio convenzionale e apre la strada a soluzioni alternative, come l’AI neuro-simbolica, che potrebbe offrire un miglior rapporto costo-efficacia.

Cenni storici: John Haugeland ha coniato il termine GOFAI (Good Old-Fashioned Artificial Intelligence) per l’IA simbolica nel suo libro del 1985 Intelligenza artificiale (Artificial Intelligence: The Very Idea), che ha esplorato le implicazioni filosofiche della ricerca sull’intelligenza artificiale. Nella robotica il termine analogo è GOFR (Good Old-Fashioned Robotics).

Questo approccio sta guadagnando attenzione in vari settori industriali e accademici. Ad esempio:

IBM ha sviluppato il progetto Neuro-Symbolic AI che integra modelli deep learning con tecniche simboliche, migliorando l’interpretabilità e riducendo la necessità di grandi quantità di dati di addestramento. Questo approccio è stato applicato in campi come la visione artificiale e l’elaborazione del linguaggio naturale, dimostrando come la combinazione di logica simbolica e apprendimento automatico possa produrre risultati migliori rispetto ai modelli tradizionali basati esclusivamente su reti neurali.

MIT-IBM Watson AI Lab ha pubblicato studi pionieristici sul neuro-symbolic concept learner (NS-CL), un modello che utilizza rappresentazioni neuro-simboliche per l’apprendimento di concetti visivi, mostrando un miglioramento nell’efficienza del modello e nella sua capacità di generalizzare a nuove situazioni rispetto ai modelli puramente neurali.

I modelli neuro-simbolici offrono una sintesi dei vantaggi dei sistemi simbolici e delle reti neurali, mitigando al contempo i rispettivi svantaggi. Ad esempio, i sistemi simbolici sono noti per la loro capacità di ragionare in modo esplicito e interpretabile, ma soffrono in termini di flessibilità e capacità di apprendimento dai dati. Le reti neurali, d’altro canto, eccellono nell’apprendimento automatico da grandi quantità di dati, ma risultano spesso opache e difficili da interpretare.

Recenti studi scientifici supportano questa visione:

Un importante studio del Massachusetts Institute of Technology (MIT) ha dimostrato che i modelli neuro-simbolici possono ottenere prestazioni competitive rispetto ai modelli deep learning tradizionali con una frazione dei dati di addestramento. Questo studio evidenzia come l’integrazione del ragionamento simbolico possa portare a sistemi di IA più efficienti, in grado di apprendere concetti complessi e generalizzare meglio in contesti non previsti durante l’addestramento .

Stanford University ha condotto ricerche che evidenziano come l’AI neuro-simbolica possa migliorare la spiegabilità dei modelli di intelligenza artificiale, un aspetto cruciale per l’adozione dell’IA in settori regolamentati come la sanità e la finanza. Le loro ricerche hanno mostrato che i modelli neuro-simbolici non solo sono più facili da interpretare, ma anche più sicuri e affidabili rispetto ai modelli deep learning tradizionali .

L’AI neuro-simbolica mira a combinare i punti di forza di entrambi, rispecchiando i due sistemi cognitivi che governano il processo decisionale umano: il Sistema 1, intuitivo e rapido, e il Sistema 2, deliberativo e logico. Questo approccio non solo potrebbe fornire soluzioni più efficienti e sostenibili, ma potrebbe anche portare a modelli di IA più allineati con il modo in cui gli esseri umani pensano e ragionano.

La scelta di Ilya Sutskever di focalizzarsi sull’AI neuro-simbolica per la sua nuova avventura imprenditoriale, Safe Super Intelligence, appare non solo plausibile ma anche strategica, considerando i costi elevati e le limitazioni delle reti neurali tradizionali. L’AI neuro-simbolica rappresenta una promettente via alternativa, capace di coniugare potenza computazionale, interpretabilità e sostenibilità economica, con un supporto crescente da parte delle comunità scientifica e industriale.