Molte altre aziende cinesi, dai più grandi giganti della tecnologia a una miriade di start-up, hanno fatto passi avanti nei propri sforzi di sviluppo LLM. Alibaba Cloud ha rilasciato Qwen2, la seconda versione della sua famiglia di modelli linguistici Tongyi Qianwen open source, utilizzata in chatbot come ChatGPT di OpenAI.
Include aggiornamenti come pre-formazione multilingue e una finestra di contesto ampliata, permettendo domande e risposte più lunghe, posizionandosi tra i LLM open source più potenti al mondo, include Tongyi Qianwen LLM, il modello di visione AI Qwen-VL e Qwen-Audio.
La serie di modelli Qwen è pre-addestrata su dati multilingue di vari settori, con Qwen-72B come modello più potente, addestrato su 3 trilioni di token. In confronto, il modello più potente di Llama-2 di Meta usa 2 trilioni di token, mentre Llama-3 usa 15 trilioni di token.
Il nuovo modello di intelligenza artificiale open source supera LLama3 di Meta nei test principali, diventando un forte concorrente nel campo dell’IA. Alibaba, il gigante cinese dell’e-commerce, è un leader nell’intelligenza artificiale in Cina.
Le cinque varianti del Qwen2 di Alibaba, dal Qwen2-0.5B al Qwen2-72B, hanno tra 490 milioni e 72,7 miliardi di parametri. I modelli sono stati addestrati con dati in 27 lingue aggiuntive rispetto alla versione precedente, come tedesco, francese, spagnolo, italiano e russo, oltre a inglese e cinese.
Secondo un recente post sul blog del team di Qwen, Qwen2 può gestire 128.000 token di contesto, similmente al GPT-4 di OpenAI.
La classifica di Elo Arena colloca Qwen2-72B-Instruct un po’ meglio di GPT-4-0314, ma sotto Llama3 70B e GPT-4-0125-preview, facendolo il secondo LLM open source più apprezzato dai tester umani fino ad ora.
Rispetto ai modelli open source avanzati, incluso Qwen1.5, Qwen2 ha superato la maggior parte dei modelli open source e ha dimostrato competitività con modelli proprietari in comprensione e generazione del linguaggio, capacità multilingue, codifica, matematica e ragionamento.
I modelli Qwen2 dimostrano un’ottima comprensione dei contesti lunghi. Qwen2-72B-Instruct gestisce l’estrazione di informazioni in ampi contesti senza errori, superando quasi perfettamente il test “Needle in a Haystack“.
Questo è rilevante perché solitamente le prestazioni del modello calano con l’uso. Con questa release il team Qwen ha cambiato anche le licenze dei suoi modelli. Mentre Qwen2-72B e i suoi modelli ottimizzati per le istruzioni continuano a utilizzare la licenza Qianwen originale, tutti gli altri modelli hanno adottato Apache 2.0, uno standard nel mondo del software open source.
“Nel prossimo futuro, continueremo a creare nuovi modelli open source per accelerare l’intelligenza artificiale open source”,
Alibaba Cloud
Lascia un commento