NVLinkかPCIeか。自分のジョブに必要なのはどちらか。

要点

モデルが1枚のカードに収まるなら、ここで読むのをやめて構いません。ここに書かれていることは何も当てはまらず、モデルが収まる最も安いカードを買うのが正解です。このガイドが扱うのは、収まらずに分割せざるを得なくなったときの話です。

それぞれのリンクの正体

見出しの倍率は、NVLink 4とPCIe Gen5の間でおよそ14×です。この数字自体は本物ですが、重要な数字ではありません。重要なのは、自分のジョブがどれだけの頻度でリンクを越えるかです。

速度を左右するとき

1つのケースがあり、それは多くの人が計画もせずに陥っているケースです。

何も変わらないとき

NVLinkにお金を払っても、目に見える効果が何もない、よくある3つのワークロード。このいずれかに当てはまるなら、PCIeカードのほうが1ドルあたりのVRAMが多くなります。

同じジョブを両方の方法で

当社が貸し出している2種類のノードで、どちらも80GBカードを4枚搭載しています。合計メモリも、カードのクラスも同じで、違いはカード間のリンクだけです。価格は当社の月額です。

当社のスループットモデルはメモリ帯域幅で制約され、意図的に保守的に見積もっています。オールリデュースそのものはモデル化していないため、テンソル並列ジョブでの実際の差は、この表が示すより広くなることはあっても、狭くなることはありません。この数値は両方のマシンの下限として捉え、重要なのは順序だと考えてください。

自分で測定する

これは初日に行ってください。2分で終わり、購入したマシンが、支払った分のトポロジーを備えているかどうかが分かります。

# NV# means NVLink. PIX, PHB or SYS mean the traffic goes over PCIe.
$ nvidia-smi topo -m

# NVLink state and per-link throughput counters
$ nvidia-smi nvlink --status

# The honest test: an actual all-reduce across every card in the box.
# Compare busbw to the link's rated figure, not to the headline number.
$ docker run --rm --gpus all --ipc=host --shm-size=8g \
    nvcr.io/nvidia/pytorch:25.02-py3 \
    all_reduce_perf -b 8 -e 4G -f 2 -g 4

テンソル並列のために購入したノードでtopo -mを実行し、2枚のカード間にSYSと表示された場合、その2枚はCPU経由・ソケットをまたいで通信しています。マシン上で最悪のケースです。当社のSXMノードでは、すべてのペアがNV18と表示されます。それ以外であれば故障であり、初日のうちにぜひ報告してほしい内容です。

何を買うべきか

1. モデルが1枚のカードに収まりますか？カードを1枚買ってください。このページの内容は何も当てはまらず、インターコネクトの上乗せ料金はお金を燃やしているようなものです。
2. 複数の独立したモデル、あるいは多数の独立したジョブですか？必要な枚数だけPCIeカードを買ってください。1ドルあたりのVRAMが多く、リンクを越えることもありません。
3. 1枚のカードには大きすぎるモデルを、低い同時実行数でサービングしますか？PCIeで問題ありません。シャーディングは得より損になると考えて、ノードは速度ではなくメモリ容量で選んでください。
4. 1枚のカードには大きすぎるモデルで、実際のトラフィックに対して推論を行うか、学習を行いますか？これこそNVLinkが存在する理由のケースです。SXMを選んでください。
5. 1つのジョブに8枚を超えるカードが必要ですか？それにはノード間のファブリックが必要で、当社では扱っていません。請求書を出したあとで伝えるより、ここで伝えたいと思います。当社が提供していないものをご覧ください。

コンフィギュレーターが、自分がどのケースに当てはまるかを教えてくれます。モデルを選ぶと、カタログ内のすべてのノードについて、1枚のカードに収まるか、分割が必要か、まったく収まらないかを表示します。「分割」という言葉が出てきた瞬間から、このガイドが意味を持ち始めます。