Servindo o Llama 3.3 70B em um nó.

O que você precisa

70 bilhões de parâmetros. Em 4 bits, isso são 35 GB de pesos; o cache KV adiciona 2.5 GB em um contexto de 8k para uma única requisição, e a sobrecarga de execução é de cerca de 15%. Tudo o mais decorre desses três números — o guia de dimensionamento mostra de onde eles vêm.

Observe a linha de 4 bits em 128k: os pesos encolhem para 35 GB, mas o cache não encolhe nada, porque AWQ e GPTQ quantizam apenas os pesos. Esse único fato decide a maior parte da escolha de máquina abaixo.

Escolhendo o nó

As máquinas mais baratas do nosso catálogo que comportam este modelo em uma única placa, que é a configuração que você quer, se puder ter — sem sharding significa sem sincronização e uma coisa a menos para depurar.

O throughput é a geração de fluxo único, limitada pela largura de banda de memória, e deliberadamente conservadora. Com o processamento contínuo por lotes, o total agregado entre requisições simultâneas é várias vezes maior — esse é o objetivo do vLLM.

Dez minutos de configuração

Nada aqui é específico da nossa empresa, exceto o endereço. O Docker, o NVIDIA Container Toolkit e uma pilha de drivers funcional já estão na máquina.

$ ssh root@203.0.113.42
$ nvidia-smi --query-gpu=name,memory.total --format=csv

# Weights on the fast local NVMe, not the system volume.
$ mkdir -p /scratch/models
$ df -h /scratch

# A gated model needs a token. Skip if yours is open.
$ export HF_TOKEN=hf_xxxxxxxxxxxxxxxxxxxx

Iniciando o servidor

Um container. A primeira execução baixa aproximadamente 40 GB de pesos quantizados, o que em uma porta 1 Gbit/s leva alguns minutos; toda reinicialização depois disso leva segundos.

$ docker run -d --name vllm --restart unless-stopped \
    --gpus all --ipc=host \
    -v /scratch/models:/root/.cache/huggingface \
    -e HF_TOKEN="$HF_TOKEN" \
    -p 127.0.0.1:8000:8000 \
    vllm/vllm-openai:latest \
    --model casperhansen/llama-3.3-70b-instruct-awq \
    --quantization awq_marlin \
    --max-model-len 8192 \
    --gpu-memory-utilization 0.92

# Watch it load. "Application startup complete" is the signal.
$ docker logs -f vllm

$ curl -s http://127.0.0.1:8000/v1/models | head

$ curl -s http://127.0.0.1:8000/v1/chat/completions \
    -H 'Content-Type: application/json' \
    -d '{"model":"casperhansen/llama-3.3-70b-instruct-awq",
         "messages":[{"role":"user","content":"In one sentence: what is a KV cache?"}],
         "max_tokens":80}'

As flags que importam

Sem publicar para o mundo todo

Acesse a partir da sua própria máquina por um túnel SSH — nenhuma porta aberta, nenhum certificado para gerenciar, nada para configurar errado:

$ ssh -N -L 8000:127.0.0.1:8000 root@203.0.113.42

# Now http://127.0.0.1:8000 on your laptop is the server.

Se realmente precisar ser público, coloque um proxy reverso na frente com TLS e uma chave de API, e restrinja também os endereços de origem no firewall. A documentação tem um conjunto mínimo de regras. Cautela redobrada é a postura correta para um endpoint que vai responder a qualquer um que perguntar.

Aumentando o throughput

Na ordem que vale a pena tentar. As duas primeiras são gratuitas e costumam dar os maiores ganhos.

1. Reduza --max-model-len para o seu contexto real. Quase sempre o maior ganho isolado, e não custa nada que você estivesse usando.
2. Aumente --gpu-memory-utilization para 0.95. Esta é uma máquina dedicada; não há mais nada na placa para o qual deixar espaço.
3. Ative o cache KV em FP8 se a placa for compatível. Dobra o que você consegue manter.
4. Agrupe em lotes no lado do cliente. O processamento contínuo por lotes só ajuda se as requisições chegarem de forma simultânea. Requisições uma de cada vez deixam a maior parte da placa ociosa, seja qual for a configuração.
5. Só então, e apenas então, considere uma placa mais rápida. A geração é limitada pela largura de banda de memória, então uma H200 a 4.800 GB/s é aproximadamente 2,4× uma H100 PCIe a 2.000 para o mesmo modelo — um ganho real, e o mais caro desta lista.

$ docker exec vllm python -m vllm.entrypoints.openai.api_server --help | head -1
$ docker exec vllm vllm bench serve \
    --model casperhansen/llama-3.3-70b-instruct-awq \
    --num-prompts 200 --request-rate 8

# And watch the card while it runs: if utilisation sits below 90%,
# the bottleneck is your client, not the GPU.
$ nvidia-smi dmon -s um

Mantendo em funcionamento

Três coisas que vale a pena fazer no primeiro dia, porque as três são chatas de descobrir no décimo quarto.

E quando o prazo termina, os discos são apagados dentro de uma hora, sem período de tolerância. Tudo em /scratch vai junto. Isso é proposital — é a mesma garantia que assegura que a máquina que você recebeu não tinha dados de mais ninguém — mas significa que o último dia de um prazo não é o dia para começar a copiar as coisas de lá.