NVLink 또는 PCIe: 작업에 맞는 선택.

요약

모델이 카드 1장에 들어간다면 여기서 읽기를 멈추십시오 — 이 내용은 하나도 해당하지 않고, 모델을 담을 수 있는 가장 저렴한 카드가 올바른 선택입니다. 이 가이드는 모델이 들어가지 않아 분할해야 할 때 무슨 일이 일어나는지를 다룹니다.

각 링크가 무엇인지

NVLink 4와 PCIe Gen5 사이의 대표 비율은 대략 14×입니다. 실제 수치이지만 중요한 수치는 아닙니다 — 중요한 것은 작업이 링크를 얼마나 자주 건너느냐입니다.

속도를 좌우하는 경우

1가지 경우이고, 계획하지 않은 채 가장 자주 마주치게 되는 경우입니다.

아무것도 바꾸지 않는 경우

NVLink에 돈을 써도 측정 가능한 이득이 없는 흔한 워크로드 3가지입니다. 이 중 하나에 해당한다면 PCIe 카드가 달러당 VRAM을 더 많이 줍니다.

같은 작업, 두 가지 방식

당사가 임대하는 노드 2대, 둘 다 80 GB 카드 4장 — 총 메모리가 같고, 카드 등급이 같고, 카드 간 링크만 다릅니다. 가격은 당사 기준, 월 단위입니다.

당사의 처리량 모델은 메모리 대역폭에 묶여 있고 의도적으로 보수적입니다 — 올리듀스를 직접 모델링하지 않으므로, 텐서 병렬 작업에서 실제 격차는 표가 시사하는 것보다 좁은 것이 아니라 더 큽니다. 두 머신 모두 이 값을 하한으로 보시고, 요점은 순서라고 보십시오.

직접 측정하기

첫날에 해 두십시오. 2분이면 되고, 받으신 머신이 결제하신 토폴로지를 갖추었는지 알려 줍니다.

# NV# means NVLink. PIX, PHB or SYS mean the traffic goes over PCIe.
$ nvidia-smi topo -m

# NVLink state and per-link throughput counters
$ nvidia-smi nvlink --status

# The honest test: an actual all-reduce across every card in the box.
# Compare busbw to the link's rated figure, not to the headline number.
$ docker run --rm --gpus all --ipc=host --shm-size=8g \
    nvcr.io/nvidia/pytorch:25.02-py3 \
    all_reduce_perf -b 8 -e 4G -f 2 -g 4

텐서 병렬화를 위해 구매하신 노드에서 topo -m이 두 카드 사이에 SYS를 표시한다면, 그 두 카드는 CPU를 거쳐 소켓을 넘어 통신하고 있는 것입니다 — 이 머신에서 최악의 경우입니다. 당사 SXM 노드에서는 모든 쌍이 NV18을 보고합니다. 그 밖의 값은 결함이고, 첫날에 알려 주시기 바라는 종류의 결함입니다.

무엇을 살 것인가

1. 모델이 카드 1장에 들어갑니까? 카드 1장을 구매하십시오. 이 페이지의 내용은 하나도 해당하지 않고, 인터커넥트 프리미엄은 돈을 태우는 셈입니다.
2. 독립된 모델이 여럿이거나 독립된 작업이 많습니까? 필요한 만큼 PCIe 카드를 구매하십시오. 달러당 VRAM이 더 많고, 링크를 건널 일이 없습니다.
3. 카드 1장에 담기에는 큰 모델 하나를 낮은 동시성으로 서빙합니까? PCIe로 됩니다. 샤딩은 이득이 아니라 비용이라고 보시고, 노드는 속도가 아니라 메모리 기준으로 사이징하십시오.
4. 카드 1장에 담기에는 큰 모델 하나로 실제 트래픽을 서빙하거나 학습합니까? NVLink가 존재하는 이유가 바로 이 경우입니다. SXM을 구매하십시오.
5. 카드 8장을 넘게 쓰는 단일 작업입니까? 그것은 노드 간 패브릭이 필요하고, 당사는 판매하지 않습니다. 청구서를 받은 뒤보다 여기서 말씀드리는 편이 낫습니다 — 제공하지 않는 것을 보십시오.

구성 도구가 어느 경우에 해당하는지 알려 줍니다: 모델을 고르면 카탈로그의 모든 노드에 대해 카드 1장에 들어가는지, 분할해야 하는지, 아예 들어가지 않는지 표시합니다. “분할”이라는 말이 나오는 순간부터 이 가이드가 의미를 갖습니다.