Llama 3.3 70B auf einem Knoten bereitstellen.

Was Sie benötigen

70 Milliarden Parameter. Bei 4-Bit sind das 35 GB Gewichte; der KV-Cache addiert bei 8k Kontext 2.5 GB für eine einzelne Anfrage, dazu kommt ein Laufzeit-Overhead von etwa 15 %. Alles Weitere folgt aus diesen drei Zahlen – der Guide zur VRAM-Dimensionierung zeigt, woher sie stammen.

Beachten Sie die 4-Bit-Zeile bei 128k: Die Gewichte schrumpfen auf 35 GB, aber der Cache schrumpft überhaupt nicht, weil AWQ und GPTQ nur die Gewichte quantisieren. Diese eine Tatsache entscheidet den größten Teil der Maschinenwahl weiter unten.

Wahl des Knotens

Die günstigsten Maschinen in unserem Katalog, die dieses Modell auf einer einzigen Karte halten – die Konfiguration, die Sie wollen, wenn Sie sie haben können: Kein Sharding bedeutet keine Synchronisierung und ein Problem weniger beim Debuggen.

Der Durchsatz bezieht sich auf Generierung in einem einzelnen Stream, begrenzt durch die Speicherbandbreite, und ist bewusst konservativ angesetzt. Mit kontinuierlichem Batching ist die Summe über gleichzeitige Anfragen um ein Vielfaches höher – genau das ist der Sinn von vLLM.

Zehn Minuten Einrichtung

Nichts hiervon ist spezifisch für uns, außer der Adresse. Docker, das NVIDIA Container Toolkit und ein funktionierender Treiber-Stack sind bereits auf der Maschine vorhanden.

$ ssh root@203.0.113.42
$ nvidia-smi --query-gpu=name,memory.total --format=csv

# Weights on the fast local NVMe, not the system volume.
$ mkdir -p /scratch/models
$ df -h /scratch

# A gated model needs a token. Skip if yours is open.
$ export HF_TOKEN=hf_xxxxxxxxxxxxxxxxxxxx

Server starten

Ein Container. Der erste Lauf lädt rund 40 GB quantisierte Gewichte herunter, was an einem 1 Gbit/s-Port ein paar Minuten dauert; jeder Neustart danach ist eine Sache von Sekunden.

$ docker run -d --name vllm --restart unless-stopped \
    --gpus all --ipc=host \
    -v /scratch/models:/root/.cache/huggingface \
    -e HF_TOKEN="$HF_TOKEN" \
    -p 127.0.0.1:8000:8000 \
    vllm/vllm-openai:latest \
    --model casperhansen/llama-3.3-70b-instruct-awq \
    --quantization awq_marlin \
    --max-model-len 8192 \
    --gpu-memory-utilization 0.92

# Watch it load. "Application startup complete" is the signal.
$ docker logs -f vllm

$ curl -s http://127.0.0.1:8000/v1/models | head

$ curl -s http://127.0.0.1:8000/v1/chat/completions \
    -H 'Content-Type: application/json' \
    -d '{"model":"casperhansen/llama-3.3-70b-instruct-awq",
         "messages":[{"role":"user","content":"In one sentence: what is a KV cache?"}],
         "max_tokens":80}'

Die Flags, auf die es ankommt

Nicht öffentlich zugänglich machen

Erreichen Sie ihn von Ihrer eigenen Maschine über einen SSH-Tunnel – kein geöffneter Port, kein Zertifikat zu verwalten, nichts, was falsch konfiguriert werden kann:

$ ssh -N -L 8000:127.0.0.1:8000 root@203.0.113.42

# Now http://127.0.0.1:8000 on your laptop is the server.

Muss er wirklich öffentlich sein, schalten Sie einen Reverse-Proxy mit TLS und einem API-Schlüssel davor und beschränken Sie zusätzlich die Quelladressen in der Firewall. Die Dokumentation enthält ein minimales Regelwerk. Doppelte Absicherung ist die richtige Haltung für einen Endpunkt, der jedem antwortet, der anfragt.

Den Durchsatz steigern

In der Reihenfolge, in der es sich zu versuchen lohnt. Die ersten beiden sind kostenlos und bringen meist den größten Gewinn.

1. Setzen Sie --max-model-len auf Ihren tatsächlichen Kontext herab. Fast immer der größte einzelne Gewinn, und er kostet nichts, was Sie genutzt haben.
2. Erhöhen Sie --gpu-memory-utilization auf 0.95. Dies ist eine dedizierte Maschine; es gibt nichts anderes auf der Karte, für das Sie Platz lassen müssten.
3. Aktivieren Sie den FP8-KV-Cache, falls die Karte ihn unterstützt. Verdoppelt die Menge, die Sie vorhalten können.
4. Batchen Sie auf der Client-Seite. Kontinuierliches Batching hilft nur, wenn Anfragen gleichzeitig eintreffen. Einzeln nacheinander eintreffende Anfragen lassen den Großteil der Karte ungenutzt, unabhängig davon, was Sie konfigurieren.
5. Ziehen Sie erst dann, und wirklich erst dann, eine schnellere Karte in Betracht. Die Generierung wird durch die Speicherbandbreite begrenzt, daher ist eine H200 mit 4.800 GB/s beim gleichen Modell etwa 2,4× so schnell wie eine H100 PCIe mit 2.000 – ein echter Gewinn, und der teuerste Posten auf dieser Liste.

$ docker exec vllm python -m vllm.entrypoints.openai.api_server --help | head -1
$ docker exec vllm vllm bench serve \
    --model casperhansen/llama-3.3-70b-instruct-awq \
    --num-prompts 200 --request-rate 8

# And watch the card while it runs: if utilisation sits below 90%,
# the bottleneck is your client, not the GPU.
$ nvidia-smi dmon -s um

Am Laufen halten

Drei Dinge, die sich am ersten Tag lohnen, denn alle drei sind am vierzehnten Tag ärgerlich zu entdecken.

Und wenn die Laufzeit endet, werden die Festplatten innerhalb einer Stunde ohne Kulanzfrist gelöscht. Alles auf /scratch geht damit verloren. Das ist Absicht – dasselbe Versprechen garantiert, dass die Maschine, die Sie erhalten haben, frei von fremden Daten war –, aber es bedeutet, dass der letzte Tag einer Laufzeit nicht der richtige Zeitpunkt ist, um mit dem Kopieren zu beginnen.