Attention e o próximo token
Um modelo de linguagem escreve um token por vez, olhando só para trás.
Na attention, cada token calcula o quanto deve olhar para cada token anterior. A máscara causal garante que ninguém olhe para o futuro: na geração, o futuro ainda não existe. Para não refazer as contas a cada passo, o modelo guarda as chaves e os valores já calculados no KV cache.
No fim de cada passo sai uma lista de probabilidades para o próximo token. A temperatura achata ou estica essa lista; o top-k corta as opções improváveis. Temperatura baixa repete o mais provável, alta arrisca mais. Num modelo de voz, os tokens são pedaços de som, e esse sorteio vira variação de ritmo e entonação.
Leia também
Mais vozes por GPU
CUDA graph, MPS e batch: como dobramos as vozes em tempo real na mesma GPU.LerDo áudio ao tensor
Todo áudio que entra num modelo vira um tensor. A forma dele decide memória e velocidade.LerDo som aos tokens
Um segundo de fala tem dezenas de milhares de números. Um modelo de voz não escreve um por um.Ler