Llama 3.3 70B'yi tek bir düğümde sunmak.

Gerekenler

70 milyar parametre. 4-bit'te bu, 35 GB ağırlık demektir; KV önbelleği tek bir istek için 8k bağlamda 2.5 GB daha ekler, çalışma zamanı ek yükü ise yaklaşık %15'tir. Geri kalan her şey bu üç sayıdan çıkar — boyutlandırma rehberi bunların nereden geldiğini gösterir.

128k'daki 4-bit satırına dikkat edin: ağırlıklar 35 GB'a küçülür ama önbellek hiç küçülmez, çünkü AWQ ve GPTQ yalnızca ağırlıkları nicemler. Aşağıdaki makine seçiminin çoğunu belirleyen tek gerçek budur.

Düğüm seçimi

Katalogumuzdaki, bu modeli tek bir kartta barındıran en ucuz makineler — mümkünse tercih edeceğiniz yapılandırma budur: sharding olmayınca senkronizasyon da olmaz, hata ayıklanacak bir şey daha az olur.

İşlem hacmi, bellek bant genişliğiyle sınırlı tek akışlı üretimdir ve kasıtlı olarak muhafazakârdır. Sürekli batching ile eşzamanlı istekler genelinde toplam değer kat kat daha yüksektir — vLLM'in bütün amacı budur.

On dakikalık kurulum

Burada adres dışında bize özgü hiçbir şey yoktur. Docker, NVIDIA container toolkit ve çalışan bir sürücü yığını makinede zaten hazırdır.

$ ssh root@203.0.113.42
$ nvidia-smi --query-gpu=name,memory.total --format=csv

# Weights on the fast local NVMe, not the system volume.
$ mkdir -p /scratch/models
$ df -h /scratch

# A gated model needs a token. Skip if yours is open.
$ export HF_TOKEN=hf_xxxxxxxxxxxxxxxxxxxx

Sunucuyu başlatmak

Tek bir konteyner. İlk çalıştırma yaklaşık 40 GB nicemlenmiş ağırlık indirir; bu da 1 Gbit/s hızındaki bir portta birkaç dakika sürer; bundan sonraki her yeniden başlatma saniyeler içinde tamamlanır.

$ docker run -d --name vllm --restart unless-stopped \
    --gpus all --ipc=host \
    -v /scratch/models:/root/.cache/huggingface \
    -e HF_TOKEN="$HF_TOKEN" \
    -p 127.0.0.1:8000:8000 \
    vllm/vllm-openai:latest \
    --model casperhansen/llama-3.3-70b-instruct-awq \
    --quantization awq_marlin \
    --max-model-len 8192 \
    --gpu-memory-utilization 0.92

# Watch it load. "Application startup complete" is the signal.
$ docker logs -f vllm

$ curl -s http://127.0.0.1:8000/v1/models | head

$ curl -s http://127.0.0.1:8000/v1/chat/completions \
    -H 'Content-Type: application/json' \
    -d '{"model":"casperhansen/llama-3.3-70b-instruct-awq",
         "messages":[{"role":"user","content":"In one sentence: what is a KV cache?"}],
         "max_tokens":80}'

Önemli olan bayraklar

Onu dünyaya yayınlamamak

Kendi makinenizden bir SSH tüneli üzerinden erişin — açılan port yok, yönetilecek sertifika yok, yanlış yapılandırılacak bir şey yok:

$ ssh -N -L 8000:127.0.0.1:8000 root@203.0.113.42

# Now http://127.0.0.1:8000 on your laptop is the server.

Gerçekten herkese açık olması gerekiyorsa, önüne TLS ve bir API anahtarıyla bir ters proxy koyun ve güvenlik duvarında kaynak adreslerini de kısıtlayın. Dokümantasyonda minimal bir kural kümesi bulunur. Herkesin sorduğuna yanıt verecek bir uç nokta için doğru duruş, çifte önlemdir.

İşlem hacmini artırmak

Denemeye değer sıraya göre. İlk ikisi ücretsizdir ve genellikle en büyük kazancı sağlar.

1. --max-model-len değerini gerçek bağlamınıza düşürün. Neredeyse her zaman tek başına en büyük kazanç budur ve kullanmadığınız hiçbir şeye mal olmaz.
2. --gpu-memory-utilization değerini 0.95'e çıkarın. Bu, adanmış bir makinedir; kartta yer ayrılacak başka bir şey yoktur.
3. Kart destekliyorsa FP8 KV önbelleğini açın. Tutabileceğiniz miktarı ikiye katlar.
4. İstemci tarafında batch yapın. Sürekli batching yalnızca istekler eşzamanlı geldiğinde işe yarar. Tek tek gelen istekler, ne yapılandırırsanız yapılandırın kartın çoğunu boşta bırakır.
5. Ancak bundan sonra, daha hızlı bir kart düşünün. Üretim hızı bellek bant genişliğiyle sınırlıdır, bu yüzden 4.800 GB/s'teki bir H200, aynı model için 2.000'deki bir H100 PCIe'nin kabaca 2,4× katıdır — gerçek bir kazanç, ve bu listedeki en pahalısı.

$ docker exec vllm python -m vllm.entrypoints.openai.api_server --help | head -1
$ docker exec vllm vllm bench serve \
    --model casperhansen/llama-3.3-70b-instruct-awq \
    --num-prompts 200 --request-rate 8

# And watch the card while it runs: if utilisation sits below 90%,
# the bottleneck is your client, not the GPU.
$ nvidia-smi dmon -s um

Çalışır durumda tutmak

İlk gün yapılmaya değer üç şey, çünkü üçünü de on dördüncü günde keşfetmek can sıkıcıdır.

Ve süre sona erdiğinde, diskler bir saat içinde, hiçbir ek süre tanınmadan silinir. /scratch üzerindeki her şey bununla birlikte gider. Bu kasıtlıdır — size verilen makinede başka kimsenin verisinin olmadığını garanti eden söz de aynı sözdür — ama bu, sürenin son gününün dosyaları kopyalamaya başlamak için uygun bir gün olmadığı anlamına gelir.