NVLink oder PCIe: Was Ihr Job braucht.

Die Kurzfassung

Passt ein Modell auf eine Karte, hören Sie auf zu lesen — nichts davon betrifft Sie, und die günstigste Karte, die Ihr Modell fasst, ist der richtige Kauf. Dieser Guide handelt davon, was passiert, wenn es nicht passt und Sie es aufteilen müssen.

Was jede Verbindung ist

Das Verhältnis in der Überschrift liegt bei etwa 14× zwischen NVLink 4 und PCIe Gen5. Diese Zahl stimmt, aber sie ist nicht die Zahl, auf die es ankommt — entscheidend ist, wie oft Ihr Job die Verbindung überquert.

Wann es Ihre Geschwindigkeit bestimmt

Ein Fall, und es ist der Fall, in dem sich die meisten wiederfinden, ohne ihn eingeplant zu haben.

Wann es nichts ändert

Drei häufige Workloads, bei denen sich NVLink messbar nicht auszahlt. Treffen Sie auf einen davon zu, geben Ihnen PCIe-Karten mehr VRAM pro Dollar.

Derselbe Job, auf beide Arten

Zwei Knoten, die wir vermieten, beide mit vier 80-GB-Karten — derselbe Gesamtspeicher, dieselbe Kartenklasse, unterschiedlich nur in der Verbindung zwischen ihnen. Die Preise sind unsere, pro Monat.

Unser Durchsatzmodell ist durch die Speicherbandbreite begrenzt und bewusst konservativ — es bildet das All-Reduce nicht direkt ab, sodass der reale Abstand bei einem Tensor-Parallel-Job größer ist, als die Tabelle nahelegt, nicht kleiner. Betrachten Sie diese Werte als Untergrenze für beide Maschinen — entscheidend ist die Reihenfolge.

Es selbst messen

Machen Sie das am ersten Tag. Es dauert zwei Minuten und zeigt Ihnen, ob die Maschine, die Sie gekauft haben, die Topologie hat, für die Sie bezahlt haben.

# NV# means NVLink. PIX, PHB or SYS mean the traffic goes over PCIe.
$ nvidia-smi topo -m

# NVLink state and per-link throughput counters
$ nvidia-smi nvlink --status

# The honest test: an actual all-reduce across every card in the box.
# Compare busbw to the link's rated figure, not to the headline number.
$ docker run --rm --gpus all --ipc=host --shm-size=8g \
    nvcr.io/nvidia/pytorch:25.02-py3 \
    all_reduce_perf -b 8 -e 4G -f 2 -g 4

Zeigt topo -m zwischen zwei Karten auf einem Knoten, den Sie für Tensor-Parallelismus gekauft haben, SYS an, sprechen diese beiden Karten über die CPU und über Sockel hinweg — der schlechteste Fall auf der Maschine. Auf unseren SXM-Knoten meldet jedes Paar NV18; alles andere ist ein Defekt, und genau davon wollen wir am ersten Tag erfahren.

Was Sie kaufen sollten

1. Modell passt auf eine Karte? Kaufen Sie eine Karte. Nichts auf dieser Seite trifft dann zu, und der Interconnect-Aufpreis ist verbranntes Geld.
2. Mehrere unabhängige Modelle oder viele unabhängige Jobs? Kaufen Sie PCIe-Karten, so viele Sie brauchen. Sie bekommen mehr VRAM pro Dollar und überqueren nie die Verbindung.
3. Ein Modell, zu groß für eine einzelne Karte, bei geringer Nebenläufigkeit im Serving? PCIe funktioniert. Erwarten Sie, dass Sharding eher kostet als bringt, und dimensionieren Sie den Knoten für Speicher statt für Geschwindigkeit.
4. Ein Modell, zu groß für eine einzelne Karte, im Serving für echten Traffic oder im Training? Genau dafür gibt es NVLink. Kaufen Sie SXM.
5. Ein einzelner Job, der mehr als acht Karten braucht? Dafür braucht es ein Fabric zwischen Knoten, das wir nicht anbieten. Das sagen wir Ihnen lieber hier als nach der Rechnung — siehe was wir nicht anbieten.

Der Konfigurator sagt Ihnen, welcher Fall bei Ihnen zutrifft: Wählen Sie ein Modell, und er zeigt für jeden Knoten im Katalog, ob es auf eine einzelne Karte passt, aufgeteilt werden muss oder gar nicht passt. Beim Wort „aufteilen“ wird dieser Guide relevant.