NVLink o PCIe: di quale ha bisogno il suo lavoro.

La versione breve

Se un modello ci sta su una scheda sola, smetta di leggere — niente di tutto questo la riguarda, e la scheda più economica che contiene il suo modello è l’acquisto giusto. Questa guida riguarda cosa succede quando non ci sta e deve essere suddiviso.

Cos’è ciascun link

Il rapporto principale è di circa 14× tra NVLink 4 e PCIe Gen5. Quel numero è reale, ma non è quello che conta — quello che conta è quante volte il suo lavoro attraversa il link.

Quando determina la sua velocità

Un caso, ed è quello in cui le persone si ritrovano più spesso senza averlo pianificato.

Quando non cambia nulla

Tre carichi di lavoro comuni in cui pagare per NVLink non porta nulla di misurabile. Se il suo caso è uno di questi, le schede PCIe le danno più VRAM per dollaro.

Lo stesso lavoro, in entrambi i modi

Due nodi che noleggiamo, entrambi con quattro schede da 80 GB — la stessa memoria totale, la stessa classe di scheda, che differiscono solo per il link tra di esse. I prezzi sono i nostri, al mese.

Il nostro modello di throughput è limitato dalla larghezza di banda della memoria ed è deliberatamente conservativo — non modella direttamente l’all-reduce, quindi il divario reale su un lavoro a parallelismo tensoriale è più ampio di quanto suggerisca la tabella, non più stretto. Consideri questi valori come un limite minimo per entrambe le macchine, e l’ordine come il punto che conta.

Misurarlo da sé

Lo faccia il primo giorno. Richiede due minuti e le dice se la macchina che le è stata venduta ha la topologia per cui ha pagato.

# NV# means NVLink. PIX, PHB or SYS mean the traffic goes over PCIe.
$ nvidia-smi topo -m

# NVLink state and per-link throughput counters
$ nvidia-smi nvlink --status

# The honest test: an actual all-reduce across every card in the box.
# Compare busbw to the link's rated figure, not to the headline number.
$ docker run --rm --gpus all --ipc=host --shm-size=8g \
    nvcr.io/nvidia/pytorch:25.02-py3 \
    all_reduce_perf -b 8 -e 4G -f 2 -g 4

Se topo -m mostra SYS tra due schede su un nodo acquistato per il parallelismo tensoriale, quelle due schede comunicano attraverso la CPU e tra socket diversi — il caso peggiore sulla macchina. Sui nostri nodi SXM ogni coppia riporta NV18; qualsiasi altro valore è un guasto, ed è uno di quelli su cui vogliamo essere avvisati fin dal primo giorno.

Cosa comprare

1. Il modello ci sta su una scheda sola? Compri una scheda sola. Niente in questa pagina si applica, e il sovrapprezzo per l’interconnessione è denaro bruciato.
2. Diversi modelli indipendenti o molti lavori indipendenti? Compri schede PCIe, quante ne servono. Ottiene più VRAM per dollaro e non attraversa mai il link.
3. Un modello troppo grande per una singola scheda, servito a bassa concorrenza? Il PCIe va bene. Si aspetti che lo sharding le costi anziché avvantaggiarla, e dimensioni il nodo in base alla memoria piuttosto che alla velocità.
4. Un modello troppo grande per una singola scheda, che serve traffico reale o è in fase di addestramento? È il caso per cui esiste NVLink. Compri SXM.
5. Un singolo lavoro che richiede più di otto schede? Serve un fabric tra i nodi, che non vendiamo. Preferiamo dirglielo qui piuttosto che dopo la ricevuta — veda cosa non offriamo.

Il configuratore le dice in quale di questi casi si trova: scelga un modello e riporta, per ogni nodo del catalogo, se ci sta su una singola scheda, deve essere suddiviso, o non ci sta affatto. La parola «suddiviso» è il momento in cui questa guida inizia a contare.