Qual formato de quantização realmente usar.

Comece aqui

A maior parte desta página é aritmética, então aqui está a conclusão primeiro. Quatro perguntas definem o formato, e elas são feitas nesta ordem porque cada uma pode encerrar a discussão sozinha.

Tudo depois disso explica por que essas quatro respostas são o que são, e fornece os números para conferi-las com o seu próprio modelo, e não com o nosso. Se você ainda não calculou quanta memória o seu modelo precisa, essa aritmética é um guia separado e vem primeiro.

Três formatos, quatro nomes

Existem apenas três formatos numéricos em uso comum para serving, e eles diferem em uma coisa: quantos bytes cada parâmetro custa. Todo o resto — AWQ, GPTQ, GGUF, bitsandbytes — é um método para produzir um desses três, não um quarto formato.

Leia as duas colunas numéricas como um par. Elas são iguais nas duas primeiras linhas e não são iguais na terceira, e essa única assimetria é responsável pela maioria das surpresas mais adiante nesta página.

Os quatro nomes que você realmente vai encontrar em um repositório de modelos correspondem a essa tabela da seguinte forma.

Pedir cada um deles é uma única flag. São as mesmas opções que o guia do vLLM usa em detalhe; o ponto aqui é só o quão pequena é a diferença entre eles.

# 1. Reference. The weights as published, nothing to prepare.
$ vllm serve meta-llama/Llama-3.3-70B-Instruct --dtype bfloat16

# 2. FP8, quantised while it loads. No second download, no calibration.
#    --kv-cache-dtype is the half everyone forgets: it is what
#    halves the CACHE as well as the weights.
$ vllm serve meta-llama/Llama-3.3-70B-Instruct \
    --quantization fp8 --kv-cache-dtype fp8

# 3. Four-bit AWQ. A DIFFERENT checkpoint, prepared by someone else.
$ vllm serve casperhansen/llama-3.3-70b-instruct-awq \
    --quantization awq_marlin

# 4. Four-bit GPTQ. Same idea, different repository and flag.
$ vllm serve TechxGenus/Llama-3.3-70B-Instruct-GPTQ \
    --quantization gptq_marlin

A metade que não diminui

Quantizar os pesos para 4 bits não quantiza o cache de chave/valor. O AWQ e o GPTQ comprimem os pesos, e só os pesos; o cache permanece em 16 bits, a menos que você peça separadamente um cache FP8, e em um checkpoint de 4 bits quase ninguém faz isso. Essa é a terceira coluna da tabela acima, e é o motivo pelo qual a aritmética abaixo não segue o que todo mundo espera.

A consequência é mais fácil de ver em um único modelo. Abaixo está o Llama 3.3 70B, em 4 bits, em cada comprimento de contexto que o configurador oferece — pesos contra cache.

A coluna de pesos nunca muda — esse é todo o sentido de quantizá-los. A coluna de cache cresce linearmente com o contexto até que, na última linha, ela fica maior do que o próprio modelo a que pertence.

Leve isso longe o suficiente e os 4 bits param de vencer por completo. O FP8 reduz à metade as duas metades; os 4 bits reduzem a um quarto apenas uma metade e deixam a outra intacta. Então, para cada modelo existe um comprimento de contexto em que os dois se cruzam, e ele chega mais cedo quanto menor for o modelo — porque um modelo pequeno tem pouco peso a economizar e o mesmo crescimento de cache por token.

Valores em gigabytes, para o menor dos dois formatos, com o perdedor indicado embaixo. Leia da esquerda para a direita e observe a vantagem da coluna de 4 bits diminuir conforme o contexto cresce.

A última linha mantém a liderança em toda parte, porque 70 bilhões de parâmetros representam uma quantidade enorme de peso a economizar. A linha do meio termina empatada: em 128k, Qwen 3 32B custa exatamente o mesmo nos dois formatos, e você optaria pelo FP8 pela qualidade. E a primeira linha se inverte por completo at 128k, onde os 4 bits exigem mais memória do que o FP8 e ainda são o menos fiel dos dois. Essa combinação — mais memória e pior saída — é o erro de quantização mais comum que vemos, e ele é invisível se você só olhar para o tamanho do arquivo de pesos.

O que sua placa realmente pode fazer

O FP8 é antes um recurso de hardware do que de software. Uma placa cujos tensor cores não o suportam ainda assim carrega um checkpoint FP8 — a pilha desempacota os pesos para 16 bits antes da multiplicação — mas você só mantém a economia no download, e nada da velocidade, e um cache FP8 fica totalmente indisponível para você. Os 4 bits são o oposto: funcionam em qualquer lugar, porque os pesos são desempacotados para 16 bits antes da aritmética de qualquer forma.

Essa coluna descreve o silício, o que não é exatamente a mesma pergunta que saber onde o FP8 é uma boa ideia. A própria observação do catálogo ao lado do formato cita Hopper and Blackwell, e isso é uma afirmação sobre as pilhas de serving, não sobre os tensor cores: essas são as gerações em que os kernels FP8 e os caches FP8 tiveram mais uso e menos surpresas. A Ada Lovelace vai rodar. Hopper e Blackwell são onde colocaríamos uma implantação que depende disso.

Mais uma coisa que vale a pena saber antes de escolher uma placa. Llama 3.3 70B em FP8 a 8k precisa de 81.9 GB, e uma placa de 80 GB — a NVIDIA A100 PCIe, entre outras — fica 1.9 GB aquém disso. Não o suficiente para ser óbvio em uma planilha, mas o suficiente para falhar na máquina. A placa que resolve isso sozinha é a categoria seguinte, e o configurador vai informar qual é essa antes de você pagar, e não depois.

O que isso compra em velocidade

Gerar um token significa ler os pesos ativos na memória uma vez. Menos bytes por peso significa menos bytes para ler, o que significa mais tokens por segundo — e em um único fluxo sem processamento em lotes essa relação é quase perfeitamente linear, porque não há mais nada esperando a placa. Esse é o mesmo teto de largura de banda de memória usado pelo guia de custo por token na divisão, e ele é deliberadamente conservador. Abaixo, ele é aplicado a um modelo pequeno o bastante para rodar em qualquer máquina de placa única que alugamos, para que o formato e a placa possam ser lidos na mesma tabela.

Llama 3.1 8B em uma placa, um fluxo por vez. Toda máquina listada comporta isso nos três formatos, então as linhas são comparáveis tanto na horizontal quanto na vertical — e a proporção entre as três colunas é a mesma em cada linha, porque é definida pelos bytes por peso e mais nada.

Duas ressalvas na leitura dessa tabela. A primeira é que ela descreve uma requisição de cada vez, e quase ninguém atende uma requisição de cada vez: sob processamento contínuo por lotes, os pesos são lidos uma única vez para o lote inteiro, então o limite passa a ser a aritmética, e não a memória, e a proporção entre as colunas diminui. A segunda é que desquantizar tem um custo. Os pesos de 4 bits precisam ser desempacotados antes de serem multiplicados, e em um modelo pequeno com lote pequeno, esse desempacotamento pode consumir uma parcela visível do que a leitura menor economizou. A direção da tabela é confiável; os múltiplos exatos não são uma promessa.

O que isso custa para você

Esta é a parte do assunto em que números apresentados com confiança devem ser recebidos com desconfiança, inclusive os nossos. O erro de quantização depende muito mais do modelo do que do método, e as comparações publicadas discordam entre si porque medem modelos diferentes em tarefas diferentes. O que se pode dizer com honestidade é o formato geral do fenômeno.

O que leva à única recomendação desta página que não é aritmética: rode os dois. Você está alugando uma máquina com root e sem nada medido por uso, então servir o mesmo modelo duas vezes em duas portas e rodar cem prompts seus em cada uma custa uma noite e resolve a questão para a sua carga de trabalho, não para a de outra pessoa. Essa é uma resposta muito melhor do que qualquer tabela, esta incluída — e é por isso que preferimos mostrar a fórmula a uma pontuação.

Qual máquina isso representa

O motivo pelo qual tudo isso importa é a fatura. Abaixo está a máquina mais barata do nosso catálogo que comporta cada modelo inteiro em contexto de 8k, em cada um dos três formatos — inteiro no sentido de caber em uma única placa, sem repartição, porque um modelo repartido entre placas traz a interconexão para a discussão, e isso é assunto de outro guia.

Em contexto de 8k, nas máquinas que realmente alugamos. Quando uma célula lista várias placas, isso é o menor nó em que a placa vem, e não um modelo repartido: as placas maiores são vendidas em conjuntos de quatro e oito, então a forma mais barata de evitar repartir um 70B na precisão total é comprar quatro delas e usar uma só. É exatamente essa conta que a quantização existe para evitar.

Dois hábitos fazem a diferença entre usar bem essa tabela e ser pego de surpresa por ela. Dimensione pelo contexto que você realmente vai usar, não pelo máximo do modelo — a segunda tabela desta página é o que acontece com quem confunde os dois. E confira o formato na placa antes de pedir, não depois: NVIDIA RTX A6000, NVIDIA A100 PCIe e NVIDIA A100 SXM4 não consegue te dar os números em FP8, não importa qual flag você passe. O configurador informa a memória necessária e se ela cabe em uma placa, para cada nó e cada formato, antes de qualquer pagamento. Se o que você está pesando é alugar contra pagar uma API por token, esse ponto de equilíbrio é calculado separadamente, e a quantização o desloca bastante a favor do hardware.