Quanta VRAM um modelo realmente precisa.

A fórmula

Não existe regra prática aqui que sobreviva ao contato com um segundo modelo. O cálculo inteiro tem três linhas, e vale a pena fazê-las em vez de confiar em um multiplicador.

# 1. Weights
weights_gb   = parameters_in_billions × bytes_per_parameter

# 2. KV cache, per token — then multiplied by the context you serve
bytes_per_tok = 2 × layers × kv_heads × head_dim × cache_bytes
cache_gb      = bytes_per_tok × context_tokens × batch / 1024³

# 3. Everything else
total_gb      = (weights_gb + cache_gb) × 1.15

O 2 existe porque há dois tensores por token, K e V. bytes_per_parameter é 2 para BF16, 1 para FP8, 0.5 para 4 bits. cache_bytes é um número separado, e essa separação é a fonte mais comum de uma resposta errada — veja abaixo.

Pesos

A metade fácil. É exatamente linear em relação à contagem de parâmetros, e a única decisão é a precisão.

A quantização em 4 bits custa qualidade, e o quanto depende muito mais do modelo do que do método. É a troca certa quando é a diferença entre uma placa e quatro; é uma troca ruim quando você já está confortável.

O cache KV

A metade difícil, e a que decide se uma máquina é adequada em 4k e inviável em 128k. Ela depende das camadas e das cabeças KV — não do tamanho do modelo.

Leia a última coluna antes da primeira. Em contexto de 4k, o cache é um erro de arredondamento em todos os modelos aqui; em 128k, ele é maior que os pesos de um modelo de 70B em 4 bits. O DeepSeek V3 é a exceção porque sua atenção latente comprime o cache por design — por isso ele é utilizável em contexto longo, apesar de ser o maior modelo da lista.

Onde as estimativas erram

Exemplos resolvidos

Memória total necessária, pesos mais cache mais sobrecarga, em contexto de 8k e uma requisição. Este é o mesmo cálculo que o configurador roda contra cada configuração do catálogo.

A última coluna é o nó mais barato do nosso catálogo que comporta o modelo em 4 bits e contexto de 8k, com a taxa de geração em fluxo único que a largura de banda de memória permite. Os números de throughput são deliberadamente conservadores e calibrados com base em medições publicadas — trate-os como um piso, não uma promessa.

Atendendo mais de uma requisição

É aqui que uma máquina dimensionada para uma demonstração vira uma máquina incapaz de atender um produto. Os pesos são pagos uma vez; o cache é pago por sequência simultânea.

Llama 3.3 70B em 4 bits são 35 GB de pesos, faça o que fizer. Tudo acima de 35 GB nessa tabela é cache. É por isso que "rodou bem no meu notebook" e "caiu em produção" são o mesmo modelo na mesma placa.

Qual máquina isso representa

Três regras práticas que decorrem de tudo acima, na ordem de importância.

1. Uma placa é melhor que várias, sempre que possível. Sem sharding, sem sincronização entre camadas, sem interconexão para se preocupar. Se o seu modelo, no seu contexto, cabe em uma única placa, compre essa placa.
2. Dimensione para o seu contexto real e a sua concorrência real, não para o máximo anunciado do modelo. O máximo anunciado é uma capacidade, não um requisito.
3. Quando precisar fazer sharding, prefira NVLink. Dividir entre quatro placas PCIe funciona; dividir entre quatro placas NVLink funciona e é significativamente mais rápido. O próximo guia trata exatamente de quando essa diferença vale a pena pagar.

O configurador roda esse cálculo em tempo real contra todas as 41 configurações: escolha um modelo, uma precisão e um comprimento de contexto, e ele diz quais nós o comportam, quais o comportam em uma única placa, e quanto cada um custa por mês. Ele usa a fórmula desta página, então, se você discordar da nossa aritmética, agora pode dizer exatamente onde.