Во что смесь экспертов обходится на самом деле.

Коротко

Смесь экспертов разбивает feed-forward часть каждого слоя на множество небольших сетей и пропускает каждый токен лишь через немногие из них. Опубликованное название фиксирует оба факта: общее число параметров и число тех, что активны для любого отдельного токена. Первое нужно целиком держать в памяти, а второе — читать только на каждый токен. Это одно предложение — весь смысл руководства, и перепутать их местами — самая дорогая ошибка, которую мы видим у людей ещё до оформления заказа.

В результате получается модель со странной структурой затрат: арендуется она как гигант, а работает как модель среднего размера. Выгода это или ловушка, целиком зависит от того, какое из этих двух чисел оказывается вашим узким местом.

Арифметика ниже — та же самая, что использует конфигуратор, по тому же каталогу. Если вы ещё не выяснили, сколько памяти вообще нужно модели, начните с этой формулы — здесь показано, что меняется, когда модель становится смесью экспертов.

Как читать название

В ходу три обозначения, и все они кодируют одну и ту же пару чисел, поэтому путаница и не исчезает. Как только вы научитесь их читать, вопрос подбора размера решается сам собой.

Последний столбец — тот, который стоит запомнить. Плотная модель читает всё, что хранит; смесь экспертов читает лишь срез. Всё необычное в этих моделях — и хорошее, и плохое — вытекает именно из этой строки.

Память, которую вы арендуете на самом деле

Вот вся ловушка в одной таблице. Средний столбец — это то, что модели нужно на машине; следующий за ним столбец — это то, на что заложился бы читатель, воспринявший число активных параметров буквально. Последний столбец — счёт за это неверное прочтение.

Читайте последний столбец как ошибку в покупке. Тот, кто подбирает размер только по числу активных параметров, отправится искать одну карту, а в итоге ему понадобится целый узел — не чуть более крупная машина, а машина совершенно другой категории и другой цены.

Что покупают активные параметры

Генерация ограничена пропускной способностью памяти: каждый новый токен требует повторного чтения весов, которые в нём участвуют. Смесь экспертов читает только свой активный срез, поэтому потолок её скорости задаётся числом намного меньшим, чем предполагает её размер. Эта часть обещания — правда, и именно поэтому такие модели вообще существуют.

Таблица ниже помещает каждую модель на одну и ту же машину — 8 × NVIDIA A100 PCIe за $7,906 в месяц, самый дешёвый узел в нашем каталоге, который вмещает их все одновременно. Сравнивать цифры пропускной способности, снятые на разных машинах, — не сравнивать ничего.

Две строки, которые стоит сравнить, — это самая крупная смесь экспертов и самая крупная плотная модель, потому что обе разделены между всеми картами узла. Смесь — модель значительно крупнее, и всё же она генерирует быстрее, поскольку читает на каждый токен лишь свою часть — ради этого компромисса архитектура и существует. Строки с пометкой на одной карте читайте иначе: эти модели занимают всего одну карту узла и оставляют свободными остальные семь, а это более дешёвая машина, которую можно выбрать, а не более медленная.

Второе, что скрывает арифметика: смесь экспертов сложнее качественно разделить между картами. Плотная модель, разделённая между картами, синхронизируется один раз за слой; смеси же приходится ещё и направлять токены на ту карту, где находится нужный эксперт, а это другой и менее предсказуемый характер трафика. Это одна из немногих нагрузок, где интерконнект по-настоящему оправдывает свою цену, а не просто фигурирует в счёте.

Половина, которая дешевеет

До сих пор все новости были плохими для крупных моделей. Вот компенсация, и она значительная, хотя её почти никогда не упоминают при сравнении: у моделей с наибольшим числом параметров на этой странице самый маленький KV-кэш на токен. Кэш задаётся устройством внимания — слоями, KV-головами, размерностью головы — и никак не зависит от того, сколько экспертов стоит за вниманием.

Эти столбцы даны в расчёте на один параллельный запрос. Умножьте на число людей, использующих эндпоинт одновременно, — и рейтинг в последнем столбце определяет вашу машину куда сильнее, чем веса.

Практический смысл таков: веса — это фиксированный входной билет, а кэш — текущие расходы. Смесь экспертов берёт огромную плату за вход, а затем небольшую текущую плату за каждого пользователя. Плотная модель сравнимого качества устроена наоборот. Что из двух окажется для вас дешевле, решают параллелизм и длина контекста, а не число параметров на карточке модели.

Какие машины их вмещают

При 4-bit, при опорном контексте и с учётом самого дешёвого узла в нашем каталоге, который вмещает каждую модель — будь то на одной карте или разделённой между картами узла. Это входные билеты, а не рекомендации; следующий раздел объясняет почему.

Каждая из них — многокарточный узел, и это честный итог этой страницы: ничто в нашем каталоге не вмещает такую модель на одной карте, какой бы маленькой её ни делало число активных параметров. Полный каталог содержит остальные конфигурации, а конфигуратор проведёт ту же самую проверку для вашей модели и контекста.

Самый дешёвый узел — неверный выбор

Помещаться в память — это порог, а не цель. Как только модель разделена между картами узла, пропускная способность зависит от пропускной способности памяти тех карт, между которыми она разделена — а пропускная способность на доллар отличается более чем вдвое между конфигурациями, которые в равной мере проходят один и тот же порог по памяти. Вот DeepSeek V3 671B-A37B (MoE) на каждом узле, который её вмещает, отсортированные по цене, с единственным по-настоящему важным столбцом справа.

Зелёная ячейка — лучшее соотношение цены и результата в списке, и это не самая дешёвая строка. Переход от $7,906 к $11,790 умножает счёт на 1.5×, а пропускную способность — на 2.8× — вы платите больше, а каждый токен обходится дешевле. Сортировать каталог по цене и брать первую подходящую машину — верный способ потратить бюджет на обслуживание дважды.

Одна оговорка насчёт этого столбца, и она применима к любой таблице цены за пропускную способность, которую вы когда-либо прочтёте: здесь используется генерация в один поток. При непрерывном батчинге совокупная скорость в каждой строке растёт в несколько раз, и растёт не в одинаковое число раз — узел, у которого после весов остаётся больше свободной памяти, вмещает больше параллельных последовательностей. Порядок в рейтинге устойчив; абсолютные цифры консервативны. Экономику этой совокупной скорости мы разбираем отдельно.

Когда смесь экспертов — правильный выбор

По порядку. Остановитесь на первой строке, которая описывает вас.

1. Если плотная модель помещается на одну карту, этого достаточно. Берите её и не оглядывайтесь. Одна карта означает отсутствие разделения между картами, вопроса об интерконнекте и трафика маршрутизации экспертов, а также машину, которая стоит малую долю цены узла. Большинству продуктов, которым кажется, что им нужна передовая открытая модель, на самом деле нужна хорошая модель на 32B.
2. Вам нужно качество, а контекст у вас длинный. Вот где смесь экспертов — действительно лучший из доступных инструментов: вы платите один раз за веса, а маленький кэш означает, что машина продолжает обслуживать длинные разговоры, не падая. Подбирайте узел по весам, а затем проверяйте таблицу кэша для вашего реального контекста.
3. Вам нужно качество, и вы обслуживаете много людей одновременно. Тот же ответ и та же причина, и преимущество растёт с параллелизмом. Фиксированные затраты амортизируются на все потоки, а затраты на каждый поток остаются низкими.
4. Вам нужно качество, но лишь изредка. Тогда вы арендуете большой узел, чтобы держать его прогретым несколько часов в неделю, — а это худшее из возможных применений месячного срока. Либо соберите работу в один присест, либо используйте для неё готовый эндпоинт, а собственную машину оставьте для постоянной нагрузки.
5. Вы хотите её файнтюнить. Это другая задача и более крупная машина: обучение затрагивает каждого эксперта и требует состояния оптимизатора для всех них, поэтому память, которая при инференсе была лишь неудобством, становится непозволительной. Адаптерный файнтюнинг плотной модели — реалистичный путь почти для всех.

На какой бы строке вы ни остановились, первое число, которое нужно проверить, — это общее число параметров в той точности, в которой вы собираетесь их обслуживать. Всё остальное на этой странице — скорость, кэш, цена за токен в секунду — становится важным только после того, как модель уже загружена в память. Конфигуратор проводит полную проверку по каждому узлу, который мы сдаём в аренду, и применяет к оценке пропускной способности ту же поправку на маршрутизацию, что и таблицы выше. Если вы хотите сначала увидеть арифметику памяти целиком, для этого есть отдельное руководство; а если вы ещё не определились с форматом чисел, этот выбор нужно сделать раньше.