Cos'è il sampling? Spiegato semplice | Glossario AI #44

Il sampling è il modo in cui un modello di linguaggio sceglie davvero il token da scrivere: lo estrae a sorte dalla sua distribuzione di probabilità, rispettando le probabilità. In questo video partiamo da Ulam e dal metodo Monte Carlo del 1946, vediamo come funziona l'estrazione, perché la scelta avida rende il testo piatto e ripetitivo, il problema della coda lunga, il seme che rende il caso ripetibile e i due errori più comuni. CAPITOLI 0:00 Introduzione 0:22 Ulam e il solitario, 1946 0:46 Los Alamos e il metodo Monte Carlo 1:28 Cos'è il sampling 1:59 Come funziona l'estrazione 2:26 Una catena di scelte 2:56 Perché non la scelta avida: Holtzman, 2019 3:31 Il problema della coda lunga 4:05 Il seme: il caso ripetibile 4:33 In pratica: chi decide le regole 5:04 Errore 1: il modello è casuale 5:30 Errore 2: il massimo è il migliore 6:03 Ricapitolando 6:33 Prossimo termine: temperature Glossario AI: un termine al giorno, in ordine di prerequisito, per capire davvero come funzionano i modelli di linguaggio. Ogni video si appoggia su quelli prima. Playlist completa:    • Плейлист