# Attention e o próximo token

> Um modelo de linguagem escreve um token por vez, olhando só para trás.

PyTorch · 6 de novembro de 2026 · Pedro Cormann, Founder & Machine Learning Engineer · https://lero.studio/research/atencao

Na attention, cada token calcula o quanto deve olhar para cada token anterior. A máscara causal garante que ninguém olhe para o futuro: na geração, o futuro ainda não existe. Para não refazer as contas a cada passo, o modelo guarda as chaves e os valores já calculados no KV cache.

No fim de cada passo sai uma lista de probabilidades para o próximo token. A temperatura achata ou estica essa lista; o top-k corta as opções improváveis. Temperatura baixa repete o mais provável, alta arrisca mais. Num modelo de voz, os tokens são pedaços de som, e esse sorteio vira variação de ritmo e entonação.

_(Interativo na página: https://lero.studio/research/atencao)_

_(Interativo na página: https://lero.studio/research/atencao)_