Uma voz nova sem mexer em todos os pesos
Adapters de baixo rank: treinar menos de 1% dos números e chegar na mesma velocidade.
Uma camada linear guarda uma matriz W de d × d números. No treino completo, todos eles mudam. Com um adapter de baixo rank, W fica congelada e só treinam duas matrizes finas, B (d × r) e A (r × d). O ajuste é o produto B·A, somado a W com o peso α/r. Com d = 4096 e r = 16, são 131 mil números treináveis em vez de 16,7 milhões: menos de 1%.
Isso deixa o treino barato e rápido, e cada voz vira um arquivo pequeno. Depois, B·A pode ser fundido em W, e a inferência fica tão rápida quanto a do modelo original.
Leia também
Attention e o próximo token
Um modelo de linguagem escreve um token por vez, olhando só para trás.LerMais vozes por GPU
CUDA graph, MPS e batch: como dobramos as vozes em tempo real na mesma GPU.LerDo áudio ao tensor
Todo áudio que entra num modelo vira um tensor. A forma dele decide memória e velocidade.Ler