Nel magma indistinto delle tecniche di apprendimento automatico, dove ogni nuovo paper sembra proporre l’ennesima variazione sul tema delle loss function, ecco che spunta un white paper che, anziché aggiungere un altro gradino, smonta la scala e ne costruisce una nuova. Si chiama I-Con Information Contrastive Learning ed è un framework pubblicato all’ICLR 2025 da un dream team accademico-industriale (MIT, Google, Microsoft), che promette di fare ordine là dove c’era frammentazione.
Una singola equazione, dicono, per dominarli tutti: supervised, self-supervised, contrastive, clustering, dimensionality reduction. In sostanza, un modello informazionale che fonde metodi apparentemente scollegati tipo SimCLR, t-SNE, K-Means, CLIP, SupCon, PCA sotto un’unica perdita basata sulla divergenza di Kullback-Leibler fra distribuzioni condizionali. Lo chiamano con non poca arroganza “una generalizzazione di 23 loss function”, e hanno pure la tavola periodica dell’apprendimento rappresentazionale per dimostrarlo.
Ma facciamo un passo indietro, o meglio, due.