Servire Llama 3.3 70B su un nodo.

Cosa serve

70 miliardi di parametri. A 4 bit sono 35 GB di pesi; la cache KV aggiunge 2.5 GB a un contesto di 8k per una singola richiesta, e l’overhead di runtime è di circa il 15%. Tutto il resto discende da questi tre numeri — la guida al dimensionamento della VRAM mostra da dove provengono.

Noti la riga a 4 bit e 128k: i pesi si riducono a 35 GB ma la cache non si riduce affatto, perché AWQ e GPTQ quantizzano solo i pesi. Questo unico fatto decide gran parte della scelta della macchina qui sotto.

Scegliere il nodo

Le macchine più economiche del nostro catalogo che contengono questo modello su una scheda singola, la configurazione da preferire quando possibile — niente sharding significa niente sincronizzazione e una cosa in meno da correggere.

Il throughput è la generazione a flusso singolo, limitata dalla larghezza di banda della memoria, ed è deliberatamente conservativa. Con il batching continuo il totale aggregato tra le richieste concorrenti è più volte superiore — è proprio questo il senso di vLLM.

Dieci minuti di configurazione

Qui nulla è specifico di noi tranne l’indirizzo. Docker, il NVIDIA Container Toolkit e uno stack di driver funzionante sono già sulla macchina.

$ ssh root@203.0.113.42
$ nvidia-smi --query-gpu=name,memory.total --format=csv

# Weights on the fast local NVMe, not the system volume.
$ mkdir -p /scratch/models
$ df -h /scratch

# A gated model needs a token. Skip if yours is open.
$ export HF_TOKEN=hf_xxxxxxxxxxxxxxxxxxxx

Avviare il server

Un container. La prima esecuzione scarica circa 40 GB di pesi quantizzati, il che su una porta da 1 Gbit/s richiede pochi minuti; ogni riavvio successivo è questione di secondi.

$ docker run -d --name vllm --restart unless-stopped \
    --gpus all --ipc=host \
    -v /scratch/models:/root/.cache/huggingface \
    -e HF_TOKEN="$HF_TOKEN" \
    -p 127.0.0.1:8000:8000 \
    vllm/vllm-openai:latest \
    --model casperhansen/llama-3.3-70b-instruct-awq \
    --quantization awq_marlin \
    --max-model-len 8192 \
    --gpu-memory-utilization 0.92

# Watch it load. "Application startup complete" is the signal.
$ docker logs -f vllm

$ curl -s http://127.0.0.1:8000/v1/models | head

$ curl -s http://127.0.0.1:8000/v1/chat/completions \
    -H 'Content-Type: application/json' \
    -d '{"model":"casperhansen/llama-3.3-70b-instruct-awq",
         "messages":[{"role":"user","content":"In one sentence: what is a KV cache?"}],
         "max_tokens":80}'

I flag che contano

Non pubblicarlo al mondo

Lo raggiunga dalla propria macchina tramite un tunnel SSH — nessuna porta aperta, nessun certificato da gestire, niente da configurare male:

$ ssh -N -L 8000:127.0.0.1:8000 root@203.0.113.42

# Now http://127.0.0.1:8000 on your laptop is the server.

Se deve davvero essere pubblico, metta un reverse proxy davanti con TLS e una chiave API, e limiti anche gli indirizzi di origine nel firewall. La documentazione contiene un set minimo di regole. Prudenza ridondante è l’atteggiamento corretto per un endpoint che risponde a chiunque lo interroghi.

Aumentare il throughput

Nell’ordine in cui vale la pena provarli. I primi due sono gratuiti e di solito danno i guadagni maggiori.

1. Riduca --max-model-len al contesto realmente utilizzato. Quasi sempre il singolo miglioramento più grande, e non costa nulla di ciò che stava già usando.
2. Alzi --gpu-memory-utilization a 0.95. Questa è una macchina dedicata; non c’è nient’altro sulla scheda per cui lasciare spazio.
3. Attivi la cache KV FP8 se la scheda la supporta. Raddoppia ciò che può contenere.
4. Raggruppi le richieste lato client. Il batching continuo aiuta solo se le richieste arrivano in concorrenza. Le richieste una alla volta lasciano la maggior parte della scheda inattiva, qualunque sia la configurazione.
5. Solo a quel punto, e non prima, consideri una scheda più veloce. La generazione è limitata dalla larghezza di banda della memoria, quindi una H200 a 4.800 GB/s è circa 2,4× una H100 PCIe a 2.000 per lo stesso modello — un guadagno reale, ed è la voce più costosa di questo elenco.

$ docker exec vllm python -m vllm.entrypoints.openai.api_server --help | head -1
$ docker exec vllm vllm bench serve \
    --model casperhansen/llama-3.3-70b-instruct-awq \
    --num-prompts 200 --request-rate 8

# And watch the card while it runs: if utilisation sits below 90%,
# the bottleneck is your client, not the GPU.
$ nvidia-smi dmon -s um

Mantenerlo attivo

Tre cose che vale la pena fare il primo giorno, perché scoprirle tutte e tre il quattordicesimo è fastidioso.

E quando la durata termina, i dischi vengono cancellati entro l’ora, senza periodo di tolleranza. Tutto ciò che è su /scratch scompare con essi. È una scelta deliberata — è la stessa garanzia per cui la macchina consegnata non conteneva dati di nessun altro — ma significa che l’ultimo giorno della durata non è il giorno in cui iniziare a copiare i dati altrove.