Molti utenti pensano che impostare la temperatura a zero sia una garanzia di coerenza. La verità è più sottile e, per chi lavora con modelli di grandi dimensioni, leggermente inquietante. Anche con gli stessi input e lo stesso seed, i transformer come quelli alla base di ChatGPT possono restituire risposte diverse. Non si tratta di magia, né di un capriccio dell’intelligenza artificiale. Il colpevole è la fisica del calcolo parallelo e l’aritmetica floating-point non associativa.
Tag: Thinking Machines Lab
Defeating Non determinism in LLM Inference
Chiunque abbia avuto l’ardire di chiedersi perché i modelli linguistici di grandi dimensioni si comportino come una macchina capricciosa piuttosto che come un algoritmo rigoroso, si sarà scontrato con una verità scomoda: i cosiddetti LLM non deterministici non sono un bug, sono una feature, o meglio un effetto collaterale inevitabile della loro implementazione industriale. La fantasia di poter fissare un seed casuale e ottenere sempre la stessa risposta è parente stretta della convinzione che la Silicon Valley sia fatta di garage pieni di geni e non di venture capitalist con fogli Excel. Affascinante, ma fondamentalmente falsa.
Se bastava che Alfred Lin di Sequoia Capital dicesse che il suo fondo “stava parlando” con Thinking Machines Lab per far scattare un titolo sui giornali, allora vi diamo qualcosa di ancora più succoso: sembra che Mira Murati, l’ex CTO di OpenAI e ora fondatrice della neonata startup, abbia anche discusso di investimenti con Vinod Khosla, uno dei primi finanziatori di OpenAI. Che Khosla Ventures investirà davvero è ancora tutto da vedere, ma di certo la cosa solletica l’interesse degli addetti ai lavori.