META rivoluziona l’addestramento degli LLM con il metodo active reading
Meta ha appena svelato un approccio rivoluzionario per addestrare i modelli di linguaggio di grandi dimensioni (LLM), noto come Active Reading. Invece di ingozzare i modelli con documenti passivamente, li spinge a studiare come farebbe un essere umano, con risultati stupefacenti sulla memorizzazione dei fatti e sulla comprensione profonda dei contenuti.
Meta sta proponendo un cambio di paradigma nella formazione dei modelli linguistici. Tradizionalmente, i modelli LLM vengono addestrati con grandi quantità di dati in modo passivo: si ingeriscono documenti, articoli, libri, senza che il modello sviluppi strategie proprie di apprendimento. Il problema di fondo è che i modelli tendono a dimenticare informazioni di nicchia, generano allucinazioni o non riescono a comprendere concetti complessi.
Active Reading ribalta questa dinamica. Il modello non è più un contenitore passivo di testi, ma diventa uno “studente attivo”. Meta consente al modello di inventare strategie di apprendimento proprie: può riformulare concetti, creare analogie, auto-interrogarsi, costruire linee temporali e persino utilizzare rime per fissare informazioni. Questo è sorprendentemente simile a come gli esseri umani apprendono e memorizzano concetti complessi.
CC BY-NC-SA 4.0 DEED | Disclaimer Contenuti | Informativa Privacy | Informativa sui Cookie