Обслуживание Llama 3.3 70B на одном узле.

Что вам нужно

70 миллиардов параметров. В 4-bit это 35 GB весов; KV-кэш добавляет ещё 2.5 GB при контексте 8k для одного запроса, а накладные расходы времени выполнения — около 15 %. Всё остальное следует из этих трёх чисел — руководство по расчёту VRAM показывает, откуда они берутся.

Обратите внимание на строку 4-bit при 128k: веса сжимаются до 35 GB, а кэш не сжимается вовсе, потому что AWQ и GPTQ квантуют только веса. Именно этот факт определяет большую часть выбора машины ниже.

Выбор узла

Самые дешёвые машины в нашем каталоге, где эта модель помещается на одну карту — конфигурация, которая нужна вам, если она доступна: без шардинга не нужна синхронизация, и на одну проблему для отладки меньше.

Пропускная способность — это генерация в один поток, ограниченная пропускной способностью памяти, и намеренно консервативная оценка. При непрерывном батчинге суммарная пропускная способность по всем параллельным запросам в разы выше — в этом весь смысл vLLM.

Десять минут настройки

Здесь нет ничего специфичного именно для нас, кроме адреса. Docker, NVIDIA container toolkit и рабочий стек драйверов уже установлены на машине.

$ ssh root@203.0.113.42
$ nvidia-smi --query-gpu=name,memory.total --format=csv

# Weights on the fast local NVMe, not the system volume.
$ mkdir -p /scratch/models
$ df -h /scratch

# A gated model needs a token. Skip if yours is open.
$ export HF_TOKEN=hf_xxxxxxxxxxxxxxxxxxxx

Запуск сервера

Один контейнер. При первом запуске скачивается около 40 GB квантованных весов, что на порту 1 Gbit/s занимает несколько минут; каждый следующий перезапуск — секунды.

$ docker run -d --name vllm --restart unless-stopped \
    --gpus all --ipc=host \
    -v /scratch/models:/root/.cache/huggingface \
    -e HF_TOKEN="$HF_TOKEN" \
    -p 127.0.0.1:8000:8000 \
    vllm/vllm-openai:latest \
    --model casperhansen/llama-3.3-70b-instruct-awq \
    --quantization awq_marlin \
    --max-model-len 8192 \
    --gpu-memory-utilization 0.92

# Watch it load. "Application startup complete" is the signal.
$ docker logs -f vllm

$ curl -s http://127.0.0.1:8000/v1/models | head

$ curl -s http://127.0.0.1:8000/v1/chat/completions \
    -H 'Content-Type: application/json' \
    -d '{"model":"casperhansen/llama-3.3-70b-instruct-awq",
         "messages":[{"role":"user","content":"In one sentence: what is a KV cache?"}],
         "max_tokens":80}'

Флаги, которые имеют значение

Не открывать его всему миру

Обращайтесь к нему со своей машины через SSH-туннель — ни одного открытого порта, ни сертификата для управления, нечего настроить неправильно:

$ ssh -N -L 8000:127.0.0.1:8000 root@203.0.113.42

# Now http://127.0.0.1:8000 on your laptop is the server.

Если ему действительно нужно быть публичным, поставьте перед ним reverse proxy с TLS и API-ключом, а также ограничьте адреса источника в файрволе. В документации есть минимальный набор правил. Для эндпоинта, который отвечает всем подряд, двойная защита — это правильный подход.

Повышение пропускной способности

В порядке, в котором стоит пробовать. Первые два — бесплатны и обычно дают наибольший выигрыш.

1. Снизьте --max-model-len до реального контекста. Почти всегда это даёт наибольший выигрыш и не отнимает ничего, чем вы пользовались.
2. Повысьте --gpu-memory-utilization до 0.95. Это выделенная машина: оставлять место больше не для кого.
3. Включите FP8 KV-кэш, если карта это поддерживает. Удваивает то, что помещается.
4. Батчинг на стороне клиента. Непрерывный батчинг помогает только при одновременном поступлении запросов. Запросы по одному оставляют большую часть карты простаивать, что бы вы ни настроили.
5. И только затем — более быстрая карта. Генерация ограничена пропускной способностью памяти, поэтому H200 при 4 800 GB/s примерно в 2,4× быстрее, чем H100 PCIe при 2 000 для той же модели — реальный выигрыш, и самый дорогой пункт в этом списке.

$ docker exec vllm python -m vllm.entrypoints.openai.api_server --help | head -1
$ docker exec vllm vllm bench serve \
    --model casperhansen/llama-3.3-70b-instruct-awq \
    --num-prompts 200 --request-rate 8

# And watch the card while it runs: if utilisation sits below 90%,
# the bottleneck is your client, not the GPU.
$ nvidia-smi dmon -s um

Поддержание работы

Три вещи, которые стоит сделать в первый день, потому что все три неприятно обнаружить на четырнадцатый.

А когда срок заканчивается, диски стираются в течение часа без льготного периода. Всё на /scratch исчезает вместе с ними. Это сделано намеренно — то же самое обещание гарантирует, что на полученной вами машине не было чужих данных, — но это значит, что последний день срока не подходит для того, чтобы начинать копировать данные.