Сколько VRAM модели действительно нужно.

Формула

Здесь нет эмпирического правила, которое выдержит столкновение со второй моделью. Весь расчёт — это три строки, и их стоит выполнить, а не полагаться на множитель.

# 1. Weights
weights_gb   = parameters_in_billions × bytes_per_parameter

# 2. KV cache, per token — then multiplied by the context you serve
bytes_per_tok = 2 × layers × kv_heads × head_dim × cache_bytes
cache_gb      = bytes_per_tok × context_tokens × batch / 1024³

# 3. Everything else
total_gb      = (weights_gb + cache_gb) × 1.15

2 здесь потому, что на токен приходится два тензора, K и V. bytes_per_parameter равен 2 для BF16, 1 для FP8, 0.5 для 4-bit. cache_bytes — это отдельное число, и именно эта отдельность чаще всего становится источником неверного ответа — см. ниже.

Веса

Простая половина. Она линейно зависит от числа параметров, и единственное, что нужно решить — точность.

Четырёхбитное квантование стоит качества, и насколько сильно — зависит от модели куда больше, чем от метода. Это оправданный компромисс, когда речь о разнице между одной картой и четырьмя; и плохой компромисс, когда вам и так хватает места.

KV-кэш

Сложная половина — та, что решает, хватит ли машины при 4k и окажется ли она бесполезной при 128k. Она зависит от числа слоёв и KV-голов, а не от размера модели.

Читайте последний столбец раньше первого. При контексте 4k кэш — это статистическая погрешность для каждой модели здесь; при 128k он больше, чем веса модели 70B в 4-bit. DeepSeek V3 — исключение, потому что её latent attention сжимает кэш по конструкции — именно поэтому она пригодна при длинном контексте, несмотря на то что это самая крупная модель в списке.

Где ошибаются в оценках

Разобранные примеры

Требуемая общая память — веса плюс кэш плюс накладные расходы — при контексте 8k и одном запросе. Это тот же расчёт, который конфигуратор проводит для каждой конфигурации в каталоге.

Последний столбец — самый дешёвый узел в нашем каталоге, вмещающий модель при 4-bit и контексте 8k, со скоростью генерации в один поток, которую допускает пропускная способность памяти. Цифры пропускной способности намеренно консервативны и откалиброваны по опубликованным измерениям — воспринимайте их как нижнюю границу, а не как обещание.

Обслуживание более одного запроса

Именно здесь машина, рассчитанная под демо, превращается в машину, неспособную обслуживать продукт. За веса платят один раз; за кэш — за каждую параллельную последовательность.

Llama 3.3 70B при 4-bit — это 35 GB весов, что бы вы ни делали. Всё, что выше 35 GB в этой таблице, — кэш. Именно поэтому «на ноутбуке всё работало» и «в продакшене всё упало» — это одна и та же модель на одной и той же карте.

Какая это машина

Три практических правила, которые следуют из всего сказанного выше, в порядке важности.

1. Одна карта лучше нескольких, когда это возможно. Никакого шардинга, синхронизации между слоями, интерконнекта, о котором нужно думать. Если ваша модель при вашем контексте помещается на одну карту — берите именно её.
2. Рассчитывайте под ваш реальный контекст и реальную параллельность, а не под заявленный максимум модели. Заявленный максимум — это возможность, а не обязательное требование.
3. Если шардинг неизбежен, выбирайте NVLink. Разделение между четырьмя картами PCIe работает; разделение между четырьмя картами NVLink работает и заметно быстрее. Следующее руководство как раз о том, когда эта разница стоит своих денег.

Конфигуратор проводит этот расчёт в реальном времени по всем 41 конфигурациям: выберите модель, точность и длину контекста — и он покажет, какие узлы её вмещают, какие вмещают на одной карте, и сколько стоит каждый в месяц. Он использует формулу с этой страницы, так что если вы не согласны с нашей арифметикой, теперь вы можете указать, где именно.