Servir Llama 3.3 70B sur un seul nœud.

Ce dont vous avez besoin

70 milliards de paramètres. En 4 bits, cela représente 35 GB de poids ; le cache clef/valeur ajoute 2.5 GB à 8k de contexte pour une seule requête, et la surcharge d’exécution est d’environ 15 %. Tout le reste découle de ces trois chiffres — le guide de dimensionnement explique d’où ils viennent.

Notez la ligne 4 bits à 128k : les poids se réduisent à 35 GB mais le cache ne diminue pas du tout, car AWQ et GPTQ ne quantifient que les poids. Ce seul fait détermine l’essentiel du choix de machine ci-dessous.

Choisir le nœud

Les machines les moins chères de notre catalogue qui tiennent ce modèle sur une seule carte, la configuration à privilégier si possible — pas de répartition signifie pas de synchronisation, et une chose de moins à déboguer.

Le débit correspond à une génération en flux unique, limitée par la bande passante mémoire, et volontairement conservatrice. Avec le traitement par lots continu, le total agrégé sur l’ensemble des requêtes simultanées est plusieurs fois supérieur — c’est tout l’intérêt de vLLM.

Dix minutes d’installation

Rien ici n’est spécifique à nous, hormis l’adresse. Docker, le NVIDIA Container Toolkit et une pile de pilotes fonctionnelle sont déjà présents sur la machine.

$ ssh root@203.0.113.42
$ nvidia-smi --query-gpu=name,memory.total --format=csv

# Weights on the fast local NVMe, not the system volume.
$ mkdir -p /scratch/models
$ df -h /scratch

# A gated model needs a token. Skip if yours is open.
$ export HF_TOKEN=hf_xxxxxxxxxxxxxxxxxxxx

Démarrer le serveur

Un seul conteneur. Le premier lancement télécharge environ 40 GB de poids quantifiés, ce qui, sur un port 1 Gbit/s, prend quelques minutes ; chaque redémarrage suivant ne prend que quelques secondes.

$ docker run -d --name vllm --restart unless-stopped \
    --gpus all --ipc=host \
    -v /scratch/models:/root/.cache/huggingface \
    -e HF_TOKEN="$HF_TOKEN" \
    -p 127.0.0.1:8000:8000 \
    vllm/vllm-openai:latest \
    --model casperhansen/llama-3.3-70b-instruct-awq \
    --quantization awq_marlin \
    --max-model-len 8192 \
    --gpu-memory-utilization 0.92

# Watch it load. "Application startup complete" is the signal.
$ docker logs -f vllm

$ curl -s http://127.0.0.1:8000/v1/models | head

$ curl -s http://127.0.0.1:8000/v1/chat/completions \
    -H 'Content-Type: application/json' \
    -d '{"model":"casperhansen/llama-3.3-70b-instruct-awq",
         "messages":[{"role":"user","content":"In one sentence: what is a KV cache?"}],
         "max_tokens":80}'

Les options qui comptent

Ne pas le publier au monde entier

Atteignez-le depuis votre propre machine via un tunnel SSH — aucun port ouvert, aucun certificat à gérer, rien à mal configurer :

$ ssh -N -L 8000:127.0.0.1:8000 root@203.0.113.42

# Now http://127.0.0.1:8000 on your laptop is the server.

Si cela doit vraiment être public, placez un reverse proxy devant, avec TLS et une clef API, et restreignez également les adresses source dans le pare-feu. La documentation propose un jeu de règles minimal. Ceinture et bretelles est la posture correcte pour un point de terminaison qui répondra à quiconque le sollicite.

Augmenter le débit

Dans l’ordre où cela vaut la peine d’essayer. Les deux premières sont gratuites et apportent généralement les gains les plus importants.

1. Réduisez --max-model-len à votre contexte réel. C’est presque toujours le gain le plus important à lui seul, et cela ne coûte rien que vous utilisiez déjà.
2. Augmentez --gpu-memory-utilization à 0.95. C’est une machine dédiée ; rien d’autre sur la carte ne nécessite qu’on lui laisse de la place.
3. Activez le cache clef/valeur en FP8 si la carte le prend en charge. Double ce que vous pouvez tenir.
4. Regroupez les requêtes côté client. Le traitement par lots continu n’aide que si les requêtes arrivent simultanément. Des requêtes envoyées une par une laissent la majeure partie de la carte inactive, quelle que soit la configuration.
5. Alors, et alors seulement, envisagez une carte plus rapide. La génération est limitée par la bande passante mémoire : une H200 à 4 800 GB/s est environ 2,4× plus rapide qu’une H100 PCIe à 2 000 pour le même modèle — un gain réel, et le plus coûteux de cette liste.

$ docker exec vllm python -m vllm.entrypoints.openai.api_server --help | head -1
$ docker exec vllm vllm bench serve \
    --model casperhansen/llama-3.3-70b-instruct-awq \
    --num-prompts 200 --request-rate 8

# And watch the card while it runs: if utilisation sits below 90%,
# the bottleneck is your client, not the GPU.
$ nvidia-smi dmon -s um

Le garder en service

Trois choses à faire dès le premier jour, car les trois sont pénibles à découvrir le quatorzième.

Et à la fin de la durée d’engagement, les disques sont effacés dans l’heure, sans délai de grâce. Tout ce qui se trouve sur /scratch disparaît avec eux. C’est délibéré — c’est la même garantie qui assure que la machine qui vous a été livrée ne contenait les données de personne d’autre — mais cela signifie que le dernier jour d’une durée d’engagement n’est pas le moment de commencer à tout copier ailleurs.