Ultima parte, almeno per ora, dedicata ai token e come si usano per creare i testi con ChatGPT, Gemini e gli altri LLM.
Se non avete idea di cosa siano i token e come vengono usati vi invito a leggere gli articoli precedenti:
Esplorando il Mondo dei Token nei LLM: Cosa sono i Token
Esplorando il Mondo dei Token nei LLM: Tokenizzazione
Esplorando il Mondo dei Token nei LLM: Comprendere i Testi
Tag: Token
Terza puntata sui token, dopo aver parlato di cosa sono i token e di come avviene la tokenizzazione di un testo, oggi vediamo come questi strumenti aiutino gli LLM a comprendere i testi. Ovviamente parlo di comprensione lessicale.
La tokenizzazione è il processo principale per la segmentazione del testo in unità più piccole, è il punto di partenza per consentire ai LLM di “riconoscere” il tema generale di un testo.
Comprendere i testi per un LLM non è come comprendere i testi per una persona, mettetevi nella posizione di capire qualcosa di molto primitivo rispetto al ragionamento umano, basato sui calcoli e sulla statistica e non sul significato reale delle parole.
Se avete già letto l’articolo precedente sulla nascita dei token, oggi vediamo come la tokenizzazione viene usata per identificare pattern linguistici, comprendere relazioni semantiche e strutturali, effettuare le famose analisi del sentiment, identificare entità nominate, assegnare categorie grammaticali e realizzare la sintesi automatica del testo.
Oggi cercherò di spiegare cosa sono i token, da dove arrivano, e come funzionano all’interno dei Large Language Models (LLM).
I token rappresentano i mattoncini che i modelli linguistici utilizzano per elaborare e comprendere il testo e sono tra gli elementi fondamentali per molte applicazioni di intelligenza artificiale, tra cui i Large Language Model (LLM) e il Natural Language Processing (NLP).
La difficoltà è riassumere in un articolo che spieghi come il testo viene trasformato in unità elementari attraverso un processo chiamato tokenizzazione, un procedimento nato decenni fa con i motori di ricerca, e che è diventato il primo passo nella maggior parte delle attività di elaborazione del linguaggio naturale.
Il settore dei pagamenti ha subito una metamorfosi senza precedenti: il tap-to-pay è ormai una consuetudine, la blockchain è al centro delle strategie delle istituzioni finanziarie e l’Intelligenza Artificiale generativa promette di rivoluzionare la sicurezza e l’affidabilità delle transazioni, con un aumento della protezione dalle frodi fino al 300%. Sono questi i dati principali che emergono da un report Mastercard sulle principali tendenze che plasmeranno il futuro dei pagamenti digitali nel 2025.
La notizia arriva a tre settimane dalle elezioni presidenziali, con Trump come candidato repubblicano. Il token in arrivo, denominato WLFI, funge da token di governance per il protocollo World Liberty Financial, consentendo agli utenti di votare sulle iniziative relative al suo sviluppo.
Secondo una bozza del white paper ottenuta da CoinDesk, il 70% dei token di governance WLFI di World Liberty Financial sarà detenuto dai fondatori, dal team e dai fornitori di servizi. Il restante 30% sarà venduto tramite una vendita pubblica, con alcuni proventi destinati agli insider del progetto e altri riservati in un tesoro per supportare le operazioni finanziarie di World Liberty.