Do áudio ao tensor
Todo áudio que entra num modelo vira um tensor. A forma dele decide memória e velocidade.
Em PyTorch, um áudio é um tensor com shape [batch, canais, amostras]. Dez segundos a 48 kHz em mono são 480 mil números. Em float32 cada número ocupa 4 bytes; em bfloat16, 2. O dtype define a precisão e a memória, e o device diz onde o tensor mora: na CPU ou na GPU.
Mover dados entre os dois custa tempo. Por isso o áudio é carregado, cortado e normalizado já pensando no batch que vai para a GPU. Mude a duração, a sample rate, o dtype e o batch e veja a memória crescer.
Leia também
Do som aos tokens
Um segundo de fala tem dezenas de milhares de números. Um modelo de voz não escreve um por um.LerMesma frase, só a melodia muda
Na pergunta, a voz sobe no fim. E o fim da frase é onde a voz gerada mais erra.LerA mesma nota, três sons
Três sons com a mesma nota de 220 Hz. O que faz cada um soar diferente é o timbre.Ler