Mais vozes por GPU
CUDA graph, MPS e batch: como dobramos as vozes em tempo real na mesma GPU.
Gerar voz em tempo real para várias conversas ao mesmo tempo é um problema de engenharia, não só de modelo. A voz sai em passos curtos, e cada passo dispara dezenas de kernels na GPU. Com uma conversa por processo, a GPU passa boa parte do tempo esperando a CPU mandar o próximo kernel.
O CUDA graph grava o passo inteiro uma vez e repete tudo com uma chamada só. O MPS deixa vários processos dividirem a GPU de verdade. O maior ganho veio do batch: todas as conversas andam no mesmo passo, cada uma na sua linha do KV cache. O áudio sai igual ao de uma conversa por vez, com o dobro de vozes em tempo real na mesma GPU.
Leia também
Do áudio ao tensor
Todo áudio que entra num modelo vira um tensor. A forma dele decide memória e velocidade.LerDo som aos tokens
Um segundo de fala tem dezenas de milhares de números. Um modelo de voz não escreve um por um.LerMesma frase, só a melodia muda
Na pergunta, a voz sobe no fim. E o fim da frase é onde a voz gerada mais erra.Ler