Do som aos tokens

Prever a onda número por número exigiria dezenas de milhares de passos por segundo, e cada número sozinho quase não carrega sentido. Por isso os modelos de voz modernos trabalham em duas camadas. Um codec comprime a onda numa sequência curta, de dezenas de pedaços por segundo, e sabe fazer o caminho de volta. Um modelo de linguagem, o mesmo tipo de rede de um chatbot, aprende a prever o próximo pedaço olhando o texto e os pedaços anteriores.

Os pedaços podem ser códigos inteiros, como palavras de um vocabulário de som, empilhados do mais grosso (o que se fala) ao mais fino (o timbre e a sala). Ou podem ser vetores de números reais, gerados por difusão. O codec não carrega texto: ele só descreve som.