Сколько людей на самом деле может обслужить один GPU.

Коротко

Любое руководство, которое говорит вам, помещается ли модель, отвечает на вопрос об одном запросе. Продукт — это не один запрос. В тот момент, когда два человека одновременно используют ваш endpoint, машине нужна вторая копия диалога в памяти — а потом и третья, и сороковая, — тогда как сами веса хранятся ровно один раз.

Так что число, которое определяет, скольких людей вы можете обслужить, — это не размер карты. Это размер карты минус модель, делённый на то, во что обходится один диалог. Обе эти величины известны ещё до заказа, а значит, вместимость — одна из немногих вещей в машинном обучении, которую можно верно рассчитать на бумаге заранее.

Всё, что ниже, использует ту же арифметику, что и конфигуратор, по тому же каталогу, в 4-бит при 8k контекста. Если сама формула памяти для вас в новинку, ей посвящено отдельное руководство — а эта страница о том, что с ней происходит, когда появляется больше одного человека.

Что остаётся после весов

Возьмите эталонную модель этого сайта и разместите её на узлах каждого размера, построенных на одной и той же карте. Тот же кремний, та же цена за карту, всё то же самое — меняется только объём памяти. Смотрите, как два последних столбца движутся с совершенно разной скоростью.

Первая строка — это весь урок целиком: карта, которая не может вместить даже веса, не обслуживает никого, и это не пограничный случай. В следующих строках память растёт равными шагами, а число мест — всё более крупными, потому что пошлина в 40 GB уплачена уже в первой строке и больше никогда не взимается.

Во что на самом деле обходится один пользователь

Теперь те же модели, отсортированные так, как их сортирует покупатель: сначала самые дешёвые. Последний столбец — это месячная цена, делённая на число людей, которых машина может вместить одновременно, — единственный столбец, который честно сравнивает две машины, если вы строите что-то большее, чем демо.

Одно допущение, названное прямо, потому что оно меняет каждое число: каждое число мест дано для одного экземпляра модели, развёрнутого на весь узел, — именно это даёт флаг --tensor-parallel-size. Веса хранятся один раз, и каждая карта отдаёт свою оставшуюся память в общий пул диалогов. Если вместо этого запустить на одном узле две отдельные копии, пошлина будет уплачена дважды, а мест в сумме получится меньше.

Сравните две выделенные цветом ячейки с их столбцом цены. NVIDIA L40S стоит $714 в месяц и вмещает 2; 4 × NVIDIA L4 стоит $564 — меньше денег — и вмещает 19. Это 10× мест за 0.79× инвойса, и именно дорогой вариант обычно остаётся в шортлисте, потому что именно в нём модель помещается на одной карте.

Если смотреть по всему каталогу, а не по первым десяти строкам, лучшая цена за место для этой модели — 8 × NVIDIA RTX A6000 за $2,239 в месяц: 119 одновременных запросов по $18.82 каждый. Это намного более крупный инвойс, чем всё, что было в шортлисте выше, и всё равно самый дешёвый способ разместить пользователя — и именно это решает, рассчитываете ли вы продукт или прототип.

Длина контекста — второй множитель

Всё сказанное выше предполагало 8k контекста. Это допущение значит больше, чем выбор машины. Кэш оплачивается не только за пользователя, но и за токен, поэтому один и тот же узел вмещает совершенно разное число людей — в зависимости от того, насколько длинным вы позволяете стать диалогу.

Одна машина, четыре модели, четыре длины контекста. Узел — 8 × NVIDIA L4 за $1,106 в месяц: самый дешёвый в нашем каталоге, который вмещает все четыре модели одновременно, так что каждое число ниже измерено относительно одного и того же объёма памяти.

На одной и той же неизменной машине Llama 3.3 70B переходит с 105 одновременных пользователей на 3 — рост в 35×× — и всё это просто из-за числа, заданного в командной строке. Оборудование остаётся совершенно прежним.

Отсюда следуют две вещи. Первая: столбец контекста, на который стоит смотреть, — это тот, который вы реально обслуживаете, а не тот, что заявлен на карточке модели, — модель, которая поддерживает 128k, не обязывает вас резервировать все 128k. Вторая: объём кэша на токен сильно различается между моделями схожего размера, потому что его определяет архитектура внимания, а не число параметров; у самых крупных моделей из этой таблицы порой самый маленький кэш — и это, пожалуй, самый парадоксальный факт во всей этой теме.

Четыре способа отвоевать вместимость

В порядке убывания отношения пользы к затратам. Первый способ почти бесплатен и почти всегда остаётся неиспользованным.

Тот же узел, те же веса, те же деньги. Меняется только точность, в которой хранится кэш, — и это разница между машиной, которая обслуживает команду, и машиной, которая обслуживает продукт.

Места — это ещё не обслуживание

Одна поправка перед тем, как вы начнёте что-то рассчитывать по цифрам выше, — и именно она не даёт этой странице соврать. Здесь везде считается, сколько диалогов машина может держать открытыми. Это не обещание, что каждый из них получает быстрый ответ.

Память и пропускная способность — это два разных потолка. На 8 × NVIDIA L4 Llama 3.3 70B вмещает 52 одновременных диалогов, а один пользователь в одиночку на этой машине получает примерно 17 токенов в секунду. Заполнение всех 52 мест не даёт каждому по 17 токенов в секунду — генерация делит одну и ту же пропускную способность памяти, поэтому суммарная скорость растёт вместе с батчингом, а скорость на пользователя падает. Потолок пропускной способности достигается заметно раньше потолка памяти.

Хорошая новость в том, что оба потолка обычно движутся вместе: машины с большим остатком памяти после весов — почти всегда те же машины, у которых больше и пропускная способность. Выбор по запасу памяти редко стоит вам скорости. Настройка стека обслуживания на выбранной машине — отдельное руководство, и именно в его флагах эти цифры превращаются в реальность.

Выбор под собственное число пользователей

По порядку. Остановитесь на первой строке, которая описывает вашу нагрузку.

1. Один запрос за раз. Пакетные задачи, внутренний инструмент, один разработчик. Покупайте самую дешёвую машину, которая вмещает модель на одной карте, и на этом чтение можно закончить — каждый столбец этой страницы отвечает на вопрос, которого у вас нет.
2. Горстка людей, изредка. Инструмент для команды, продукт на раннем этапе. Считайте пиковое число одновременных запросов, а не число пользователей: сто зарегистрированных пользователей редко означают больше горстки одновременных. Затем берите самую дешёвую машину, чьё число мест с запасом превышает этот пик.
3. Реальный продукт с реальным трафиком. Сортируйте каталог по цене за место, а не по цене, ограничьте контекст тем, что вы реально обслуживаете, переведите кэш на 8 бит — и будьте готовы, что победителем окажется машина, которую вы не включили бы в шортлист по одной только месячной цене.
4. Длинные документы или длинные диалоги. Сначала смотрите таблицу контекста, потом таблицу машин. Начиная с 32k кэш преобладает настолько, что выбор модели значит меньше, чем архитектура внимания, лежащая в её основе.
5. Скачкообразный, непредсказуемый трафик. Рассчитывайте машину на пик, который нельзя провалить, потому что кэш нельзя одолжить, когда он заканчивается, — запрос, которому некуда деть свой диалог, ждёт в очереди. Если пик редкий и огромный, потокенный API для избытка нагрузки обходится дешевле, чем машина, рассчитанная на всплеск, который случается дважды в месяц.

На какой бы строке вы ни остановились, прежде всего сделайте вычитание: возьмите объём памяти машины, уберите веса вашей модели в той точности, в которой будете её обслуживать, и посмотрите, что осталось. Именно этот остаток вы и арендуете. Конфигуратор применяет ту же арифметику к каждому узлу, который мы эксплуатируем, а во что обходится месяц аренды разобрано отдельно.