O som por dentro
A mesma fala vista como imagem: o tempo na horizontal, a frequência na vertical e a energia na cor.
O espectrograma corta a onda em fatias curtas, de uns 25 ms, mede quanto de cada frequência existe em cada fatia (com a FFT) e põe as colunas lado a lado. As linhas paralelas no grave são os harmônicos da voz. As faixas claras que sobem e descem são os formantes, as ressonâncias da boca que fazem um "a" soar diferente de um "i". As manchas no alto, sem linhas, são o ar do "s" e do "ch". Uma coluna escura é pausa.
Troque a sample rate e veja o que some. Em 16 kHz, a taxa comum em reconhecimento de fala, o brilho acima de 8 kHz desaparece. Em 8 kHz, a qualidade do telefone, sobra só o essencial para entender as palavras. A escala mel estica o grave, como o ouvido percebe.
Leia também
O som em números
Antes de qualquer modelo, a voz é uma lista de números. Veja de perto.LerUma voz nova sem mexer em todos os pesos
Adapters de baixo rank: treinar menos de 1% dos números e chegar na mesma velocidade.LerAttention e o próximo token
Um modelo de linguagem escreve um token por vez, olhando só para trás.Ler