Microsoft ha presentato un modello di intelligenza artificiale in linguaggio ridotto ed economicamente vantaggioso chiamato Phi-3-mini, ha riferito Reuters.
Phi-3 Mini ha una capacità di 3,8 miliardi di parametri. Microsoft ricorda che, a differenza del modello Phi-1, che si è concentrato sulla codifica, e de modello Phi-2, che ha iniziato a imparare a ragionare, Phi-3 è migliore nella codifica e nel ragionamento.
Phi-3 viene addestrato su un set di dati più piccolo rispetto a modelli linguistici di grandi dimensioni (Mistral, Gemma, Llama-3-In) in compiti che vanno dalla matematica alla programmazione ai test accademici . Allo stesso tempo, funziona su dispositivi semplici come gli smartphone, senza Internet (tra poco parleremo di EDGE AI).
Per questo motivo Phi-3 potrebbe consentire alle aziende che non possono permettersi LLM connessi al cloud di passare all’intelligenza artificiale.
Il suo limite è l’ampiezza della “conoscenza fattuale” ( tassonomia di Bloom che organizza gerarchicamente i livelli della conoscenza ) dovuta alle dimensioni ridotte del set di dati, ecco perché non funziona nel test “TriviaQA“.
Phi-3 Mini è disponibile su Azure, Hugging Face e Ollama. Microsoft rilasciera’ in seguito Phi-3 Small (parametri 7B) e Phi-3 Medium (parametri 14B). Di seguito il Technical Report.
Il nuovo modello può eseguire attività come la creazione di contenuti e la pubblicazione di post sui social media utilizzando meno dati.
Il modello di intelligenza artificiale può superare modelli di dimensioni doppie in diversi benchmark che valutano le capacità linguistiche, di codifica e matematiche, aggiunge il rapporto.
“L’innovazione risiede interamente nel nostro set di dati per la formazione”, secondo il documento di ricerca. Questo set di dati si basa sul modello Phi-2 , ma utilizza “dati web fortemente filtrati e dati sintetici” di cui abbiamo parlato nell’artcolo La scalabilita’ è tutto ciò di cui hai bisogno, ma servono i dati.
In effetti, per svolgere entrambe queste attività è stato utilizzato un LLM separato, creando di fatto nuovi dati che consentono al modello linguistico più piccolo di essere più efficiente.
Secondo The Verge, Microsof è stato presumibilmente ispirato dai libri per bambini che utilizzano un linguaggio più semplice per affrontare argomenti complessi .
I modelli di intelligenza artificiale più piccoli mirano a svolgere compiti più semplici, il che ne facilita l’utilizzo da parte di aziende con risorse limitate, ha osservato Microsoft. Ne avevamo parlato settimane fa nell’articolo Un Pennello Grande o un Grande Pennello?
Lascia un commento