NVLink или PCIe: что нужно именно вашей задаче.

Коротко

Если модель помещается на одну карту, дальше можно не читать — ничто из этого к вам не относится, и правильная покупка — самая дешёвая карта, которая её вмещает. Это руководство о том, что происходит, когда модель не помещается и её приходится разделять между картами.

Что представляет собой каждый линк

Заголовочное соотношение между NVLink 4 и PCIe Gen5 — примерно 14×. Это число реально, но важно не оно — важно, как часто ваша задача пересекает линк.

Когда именно от этого зависит скорость

Один случай — и именно в нём люди чаще всего оказываются, не планируя этого.

Когда это ничего не меняет

Три распространённые нагрузки, при которых плата за NVLink не даёт ничего измеримого. Если это ваш случай, карты PCIe дадут больше VRAM за доллар.

Одна и та же задача, оба варианта

Два узла из нашей аренды, у обоих по четыре карты 80 GB — одинаковый суммарный объём памяти, один класс карт, различается только линк между ними. Цены наши, за месяц.

Наша модель пропускной способности ограничена пропускной способностью памяти и намеренно консервативна — она не моделирует all-reduce напрямую, поэтому реальный разрыв на задаче с тензорным параллелизмом шире, чем показывает таблица, а не уже. Считайте эти цифры нижней границей для обеих машин, а важен здесь именно порядок.

Измерить самостоятельно

Сделайте это в первый же день. Это займёт две минуты и покажет, действительно ли у купленной машины та топология, за которую вы заплатили.

# NV# means NVLink. PIX, PHB or SYS mean the traffic goes over PCIe.
$ nvidia-smi topo -m

# NVLink state and per-link throughput counters
$ nvidia-smi nvlink --status

# The honest test: an actual all-reduce across every card in the box.
# Compare busbw to the link's rated figure, not to the headline number.
$ docker run --rm --gpus all --ipc=host --shm-size=8g \
    nvcr.io/nvidia/pytorch:25.02-py3 \
    all_reduce_perf -b 8 -e 4G -f 2 -g 4

Если topo -m показывает SYS между двумя картами на узле, купленном под тензорный параллелизм, значит эти две карты общаются через CPU и через разные сокеты — худший случай на этой машине. На наших узлах SXM каждая пара показывает NV18; всё остальное — неисправность, и мы хотим узнать о ней в первый же день.

Что покупать

1. Модель помещается на одну карту? Купите одну карту. Ничто на этой странице к вам не относится, а наценка за интерконнект — деньги на ветер.
2. Несколько независимых моделей или много независимых задач? Берите карты PCIe, сколько нужно. Вы получаете больше VRAM за доллар и никогда не пересекаете линк.
3. Одна модель, которая не помещается на одну карту, обслуживается с низкой конкурентностью? PCIe подойдёт. Ожидайте, что разделение между картами скорее обойдётся вам в убыток, чем в выигрыш, и подбирайте узел по памяти, а не по скорости.
4. Одна модель, которая не помещается на одну карту, обслуживает реальный трафик или обучается? Именно для этого случая существует NVLink. Берите SXM.
5. Одной задаче нужно больше восьми карт? Для этого нужна фабрика между узлами, а её мы не продаём. Мы предпочитаем сказать вам об этом здесь, а не после инвойса — см. что мы не предлагаем.

Конфигуратор покажет, какой из этих случаев — ваш: выберите модель, и для каждого узла в каталоге он сообщит, помещается ли она на одну карту, требует ли разделения или не помещается вовсе. Слово «разделение» — момент, с которого это руководство начинает иметь значение.