Какой формат квантования запускать на практике

Начните здесь

Большая часть этой страницы — арифметика, поэтому сначала — вывод. Формат определяют четыре вопроса, и они заданы именно в этом порядке, потому что каждый из них способен сам по себе закрыть тему.

Всё, что дальше, объясняет, почему эти четыре ответа именно такие, и даёт цифры, чтобы проверить их на вашей собственной модели, а не на нашей. Если вы ещё не подсчитали, сколько памяти вообще нужно вашей модели, эта арифметика — отдельное руководство, и начинать нужно с него.

Три формата, четыре названия

Для инференса в ходу всего три формата чисел, и различаются они только одним: сколько байт стоит каждый параметр. Всё остальное — AWQ, GPTQ, GGUF, bitsandbytes — это метод получения одного из этих трёх, а не четвёртый формат.

Читайте два числовых столбца как пару. На первых двух строках они равны, а на третьей — не равны, и именно эта единственная асимметрия объясняет большинство сюрпризов, которые ждут вас дальше на этой странице.

Четыре названия, которые вы реально встретите в репозитории моделей, соотносятся с этой таблицей так.

Запросить любой из них — это один флаг. Это те же самые опции, которые подробно разбирает руководство по vLLM; здесь важно лишь то, насколько короткая разница между ними.

# 1. Reference. The weights as published, nothing to prepare.
$ vllm serve meta-llama/Llama-3.3-70B-Instruct --dtype bfloat16

# 2. FP8, quantised while it loads. No second download, no calibration.
#    --kv-cache-dtype is the half everyone forgets: it is what
#    halves the CACHE as well as the weights.
$ vllm serve meta-llama/Llama-3.3-70B-Instruct \
    --quantization fp8 --kv-cache-dtype fp8

# 3. Four-bit AWQ. A DIFFERENT checkpoint, prepared by someone else.
$ vllm serve casperhansen/llama-3.3-70b-instruct-awq \
    --quantization awq_marlin

# 4. Four-bit GPTQ. Same idea, different repository and flag.
$ vllm serve TechxGenus/Llama-3.3-70B-Instruct-GPTQ \
    --quantization gptq_marlin

Половина, которая не уменьшается

Квантование весов до 4 бит не квантует кэш ключей и значений. AWQ и GPTQ сжимают веса, и только веса; кэш остаётся на 16 битах, если вы отдельно не запросите кэш FP8, а на 4-битном чекпоинте почти никто этого не делает. Это третий столбец таблицы выше, и именно поэтому арифметика ниже идёт не так, как все ожидают.

Проще всего увидеть это следствие на одной модели. Ниже — Llama 3.3 70B в 4-bit при каждой длине контекста, которую предлагает конфигуратор — веса против кэша.

Столбец весов никогда не меняется — в этом весь смысл их квантования. Столбец кэша растёт линейно вместе с контекстом, пока в последней строке не превышает размер самой модели, которой принадлежит.

Продолжайте в том же духе достаточно долго — и 4-bit вообще перестаёт выигрывать. FP8 уменьшает вдвое обе половины; 4-bit уменьшает в четыре раза одну половину, а вторую оставляет как есть. Поэтому для каждой модели есть длина контекста, на которой они меняются местами, и наступает она тем раньше, чем меньше модель — потому что у маленькой модели мало весов, чтобы на них сэкономить, а рост кэша на токен тот же самый.

Цифры в гигабайтах — для более компактного из двух форматов, с указанием проигравшего формата под ним. Читайте слева направо и смотрите, как преимущество столбца 4-bit тает по мере роста контекста.

Последняя строка сохраняет преимущество везде, потому что 70 миллиардов параметров — это очень много веса, на котором можно сэкономить. Средняя строка заканчивается вничью: при 128k Qwen 3 32B стоит ровно столько же в обоих форматах, и тогда FP8 стоит взять ради качества. А первая строка переворачивается полностью at 128k — там 4-bit требует больше памяти, чем FP8, и при этом хуже воспроизводит оригинал. Это сочетание — больше памяти и хуже результат — самая частая ошибка квантования, которую мы видим, и она незаметна, если смотреть только на размер файла весов.

На что реально способна ваша карта

FP8 — это в первую очередь аппаратная возможность, и лишь потом программная. Карта, тензорные ядра которой его не понимают, всё равно загрузит чекпоинт FP8 — стек распакует веса до 16 бит перед умножением — но вы получите только экономию на загрузке, а не в скорости, а кэш FP8 будет вам вообще недоступен. 4-bit — противоположный случай: он работает везде, потому что веса в любом случае распаковываются до 16 бит перед вычислениями.

Этот столбец описывает кремний, а это не совсем тот же вопрос, где FP8 действительно оправдан. Собственное примечание каталога рядом с форматом называет Hopper and Blackwell, и это утверждение касается скорее стеков инференса, чем тензорных ядер: это те поколения, на которых ядра и кэши FP8 использовались больше всего и вызывали меньше всего сюрпризов. Ada Lovelace его запустит. Hopper и Blackwell — это то, куда мы бы поместили развёртывание, зависящее от FP8.

Ещё кое-что стоит знать перед выбором карты. Llama 3.3 70B в FP8 при 8k требует 81.9 GB, а карте на 80 GB — в их числе NVIDIA A100 PCIe — не хватает 1.9 GB. Недостаточно, чтобы это бросалось в глаза в таблице, но вполне достаточно, чтобы всё упало на самой машине. Карта, которой хватает с запасом, — следующая по старшинству, и конфигуратор скажет вам, какая именно, до оплаты, а не после.

Прирост скорости

Генерация одного токена означает однократное чтение активных весов из памяти. Меньше байт на вес — значит меньше байт нужно прочитать, а значит больше токенов в секунду — и на одном небатчированном потоке эта зависимость почти линейна, потому что карте больше нечего ждать. Это тот же потолок по пропускной способности памяти, на который делит руководство по цене за токен, и он намеренно консервативен. Ниже он применён к модели, достаточно маленькой, чтобы работать на любой однокарточной машине, которую мы сдаём в аренду, — так формат и карту можно прочитать по одной и той же таблице.

Llama 3.1 8B на одной карте, один поток за раз. Каждая машина в списке вмещает её во всех трёх форматах, поэтому строки сравнимы и по горизонтали, и по вертикали — а соотношение между тремя столбцами одинаково в каждой строке, потому что оно определяется только количеством байт на вес.

Два предостережения по поводу этой таблицы. Первое: она описывает по одному запросу за раз, а так почти никто не работает — при непрерывном батчинге веса читаются один раз на весь батч, поэтому ограничением становится не память, а вычисления, и разрыв между столбцами сужается. Второе: деквантование тоже кое-что стоит. 4-битные веса нужно распаковать перед умножением, и на небольшой модели при низком размере батча эта распаковка может съесть заметную долю того, что дало более компактное чтение. Направление, которое показывает таблица, надёжно; точные коэффициенты — не обещание.

Во что это вам обходится

Это та часть темы, где уверенным цифрам, включая наши, доверять не стоит. Ошибка квантования зависит от модели куда больше, чем от метода, а опубликованные сравнения расходятся друг с другом, потому что измеряют разные модели на разных задачах. Честно можно сказать только про общую картину.

Отсюда единственная рекомендация на этой странице, не основанная на арифметике: запустите оба варианта. Вы арендуете машину с root-доступом и без какой-либо почасовой тарификации, поэтому развернуть одну и ту же модель дважды на двух портах и прогнать через каждую сотню собственных промптов — дело одного вечера, и оно решает вопрос именно для вашей нагрузки, а не для чьей-то ещё. Это заметно лучший ответ, чем любая таблица, включая эту, — и именно поэтому мы предпочитаем показать вам формулу, а не оценку.

Какая это машина

Всё это имеет значение именно из-за инвойса. Ниже — самая дешёвая машина в нашем каталоге, которая вмещает каждую модель целиком при контексте 8k, в каждом из трёх форматов — целиком означает на одной карте, без разделения, потому что модель, разделённая между картами, добавляет в уравнение интерконнект, а это уже другое руководство.

При контексте 8k, на машинах, которые мы реально сдаём в аренду. Там, где в ячейке указано несколько карт, речь о наименьшем узле, в котором поставляется эта карта, а не о разделённой модели: самые крупные карты продаются по четыре и по восемь штук, поэтому самый дешёвый способ не делить 70B при полной точности — купить четыре карты и использовать одну. Именно ради того, чтобы избежать такого инвойса, и существует квантование.

Есть две привычки, которые отличают правильное использование этой таблицы от попадания впросак. Считайте по контексту, который вы реально будете использовать, а не по максимуму модели — вторая таблица на этой странице показывает, что бывает с теми, кто путает эти два параметра. И сверяйте формат с картой до заказа, а не после: NVIDIA RTX A6000, NVIDIA A100 PCIe и NVIDIA A100 SXM4 не даст вам цифры FP8, какой бы флаг вы ни указали. Конфигуратор показывает необходимый объём памяти и то, помещается ли модель на одну карту, для каждого узла и каждого формата — ещё до оплаты. Если вы выбираете между арендой и оплатой API за токен, точка окупаемости рассчитана отдельно, и квантование существенно сдвигает её в пользу железа.