NVLink mi PCIe mi: işiniz hangisine ihtiyaç duyuyor.

Kısa özet

Bir model tek bir karta sığıyorsa okumayı bırakın — bunların hiçbiri sizin için geçerli değil, modelinizi barındıran en ucuz kart doğru satın alımdır. Bu rehber, model sığmadığında ve onu bölmeniz gerektiğinde ne olduğuyla ilgilidir.

Her bağlantının ne olduğu

Öne çıkan oran, NVLink 4 ile PCIe Gen5 arasında kabaca 14× düzeyindedir. Bu sayı gerçektir ama önemli olan sayı bu değildir — önemli olan, işinizin bağlantıyı ne sıklıkla kullandığıdır.

Hızınızı belirlediğinde

Tek bir durum, ve insanların planlamadan en sık içinde bulduğu durum da bu.

Hiçbir şeyi değiştirmediğinde

NVLink için ödeme yapmanın size ölçülebilir hiçbir şey kazandırmadığı üç yaygın iş yükü. Bunlardan birindeyseniz, PCIe kartlar size dolar başına daha fazla VRAM verir.

Aynı iş, iki yolla da

Kiraladığımız iki düğüm, ikisi de dört adet 80 GB'lik karta sahip — aynı toplam bellek, aynı sınıf kart, yalnızca aralarındaki bağlantı farklı. Fiyatlar bize ait, aylıktır.

İşlem hacmi modelimiz bellek bant genişliğiyle sınırlıdır ve kasıtlı olarak temkinlidir — all-reduce'u doğrudan modellemez, bu nedenle bir tensor-paralel işteki gerçek fark, tablonun ima ettiğinden daha dar değil, daha geniştir. Bunları her iki makine için de bir taban, sıralamayı ise asıl mesele olarak değerlendirin.

Kendiniz ölçmek

Bunu ilk gün yapın. İki dakika sürer ve size satılan makinenin, parasını ödediğiniz topolojiye sahip olup olmadığını gösterir.

# NV# means NVLink. PIX, PHB or SYS mean the traffic goes over PCIe.
$ nvidia-smi topo -m

# NVLink state and per-link throughput counters
$ nvidia-smi nvlink --status

# The honest test: an actual all-reduce across every card in the box.
# Compare busbw to the link's rated figure, not to the headline number.
$ docker run --rm --gpus all --ipc=host --shm-size=8g \
    nvcr.io/nvidia/pytorch:25.02-py3 \
    all_reduce_perf -b 8 -e 4G -f 2 -g 4

Tensor paralelliği için satın aldığınız bir düğümde topo -m iki kart arasında SYS gösteriyorsa, bu iki kart CPU üzerinden ve soketler arasında konuşuyor demektir — makinedeki en kötü durum budur. SXM düğümlerimizde her çift NV18 raporlar; başka herhangi bir şey bir arızadır ve bunu ilk günden duymak isteriz.

Ne satın almalı

1. Model tek bir karta sığıyor mu? Tek bir kart alın. Bu sayfadaki hiçbir şey sizin için geçerli değildir ve ara bağlantı için ödediğiniz fark, yakılmış paradır.
2. Birkaç bağımsız model ya da çok sayıda bağımsız iş mi? İhtiyacınız kadar PCIe kart alın. Dolar başına daha fazla VRAM elde edersiniz ve bağlantıyı hiç kullanmazsınız.
3. Tek bir karta sığmayacak kadar büyük, düşük eşzamanlılıkta sunulan bir model mi? PCIe işe yarar. Paylaştırmanın size kazandırmak yerine maliyet çıkaracağını bekleyin ve düğümü hız için değil bellek için boyutlandırın.
4. Tek bir karta sığmayacak kadar büyük, gerçek trafiği sunan veya eğitilen bir model mi? NVLink'in var olma sebebi tam olarak budur. SXM alın.
5. Sekizden fazla kart gerektiren tek bir iş mi? Bu, düğümler arasında bir fabric gerektirir ve biz bunu satmıyoruz. Bunu size makbuzdan sonra değil, burada söylemeyi tercih ederiz — bkz. sunmadığımız şeyler.

Yapılandırıcı bunlardan hangisinde olduğunuzu söyler: bir model seçin, katalogdaki her düğüm için tek bir karta sığıp sığmadığını, bölünmesi gerekip gerekmediğini ya da hiç sığmadığını bildirir. “Bölünmeli” kelimesi, bu rehberin önem kazanmaya başladığı andır.