サイジングガイド・7分で読了

# NVLinkかPCIeか。自分のジョブに必要なのはどちらか。

カード間のリンクは、あるワークロードにとっては非常に重要ですが、他の3種類にはまったく関係ありません。自分がどちらを動かしているかを知っていることには、月に数百ドルの価値があります。

簡潔な答え

- **1カードにつき1モデルを動かす:** リンクは関係ありません。PCIeを買って、差額でカードを増やしてください。
- **1つのモデルを複数カードに分割する:** テンソル並列は**レイヤーごと**に同期します。NVLinkにはお金を払う価値があります。
- **パイプライン並列:** 転送はレイヤーごとではなく、マイクロバッチごとに1回。たいていPCIeで問題ありません。
- **マルチノード学習:** 当社では提供していません。NVLinkはノードの*内部で*カード同士をつなぐものであり、ノード同士をつなぐものは何もありません。

## 要点

モデルが1枚のカードに収まるなら、ここで読むのをやめて構いません。ここに書かれていることは何も当てはまらず、モデルが収まる最も安いカードを買うのが正解です。このガイドが扱うのは、収まらずに分割せざるを得なくなったときの話です。

## それぞれのリンクの正体

**インターコネクトの種類、帯域幅、トポロジー**

| リンク | どこで得られるか | カードあたり、各方向 | トポロジー |
|---|---|---|---|
| NVSwitch経由のNVLink 4 Hopper世代 | HGXボード上のSXMカード、4GPUおよび8GPUノードA100 SXM4, H100 SXM5, H200 | 900 GB/s | オールツーオール。すべてのカードが、同時に、フルレートで互いに通信します。 |
| NVSwitch経由のNVLink 5 Blackwell世代 | B200 SXM6ノード4GPUおよび8GPU | 1,800 GB/s | オールツーオール、前世代の2倍。 |
| PCIe Gen5 ×16 現行のPCIeノード | すべてのPCIeカードL4, L40S, RTX 4090/5090, A6000, A100 PCIe, H100 PCIe | 64 GB/s | CPUのルートコンプレックス経由。異なるソケット上のカードは、同じソケット上のカードより距離が遠くなります。 |
| PCIe Gen4 ×16 旧世代プラットフォーム | 一部の1GPUおよび2GPUシャーシ | 32 GB/s | 上記と同様、レートは半分。 |

見出しの倍率は、NVLink 4とPCIe Gen5の間でおよそ**14×**です。この数字自体は本物ですが、重要な数字ではありません。重要なのは、自分のジョブがどれだけの頻度でリンクを越えるかです。

## 速度を左右するとき

1つのケースがあり、それは多くの人が計画もせずに陥っているケースです。

### テンソル並列

各レイヤーはカード間で分割されるため、すべてのカードが各重み行列の一部を保持します。各レイヤーのあと、部分的な結果をすべてのカードにわたって合計する必要があります。これがオールリデュースです。

- 70Bモデルでは、これはトークン1つあたり80回の同期になります
- 全員が最も遅いカードを待つ
- リンク上の14×が、実際の秒数として現れるのはここです

### 大規模バッチ学習

各ステップの最後に行う勾配のオールリデュースで、サイズはバッチではなくパラメータ数で決まります。70BモデルをBF16で学習する場合、1ステップごとにリンク上を140GBが移動します。

- PCIe Gen5経由なら、純粋な転送だけでおよそ2秒
- NVLink経由なら、その10分の1に近づきます
- 複数日にわたる実行の全ステップ分が積み重なる

## 何も変わらないとき

NVLinkにお金を払っても、目に見える効果が何もない、よくある3つのワークロード。このいずれかに当てはまるなら、PCIeカードのほうが1ドルあたりのVRAMが多くなります。

**1カードにつき1モデル。**24Bモデルの独立したコピーを4枚のカードに4つ置いても、リンクには一切触れません。スループットは4倍、同期は不要、障害モードもありません。

**パイプライン並列。**モデルはレイヤーの*グループ*単位で分割されるため、カードはレイヤーごとではなく、マイクロバッチごとに1回だけ次のカードへ処理を引き継ぎます。転送の頻度は十分低く、PCIeでも対応できます。

**拡散モデルとレンダリング。**画像・動画生成、Blender、Octane。各カードはそれぞれ自分のフレームや画像を処理するだけで、オールリデュースするものは何もありません。

**最も高くつく間違いは、必要のないテンソル並列を買ってしまうことです。** 80GBカード1枚に収まるモデルを、ノードに4枚のカードがあるからといって`--tensor-parallel-size 4`でサービングすると、同じモデルを1枚で動かすより*遅く*なります。同期のコストは実在し、得られる利益はゼロです。シャーディングはモデルが収まらないときだけにしてください。

## 同じジョブを両方の方法で

当社が貸し出している2種類のノードで、どちらも80GBカードを4枚搭載しています。合計メモリも、カードのクラスも同じで、違いはカード間のリンクだけです。価格は当社の月額です。

**4カードSXMノードと4カードPCIeノードの比較**

|  | [4 × NVIDIA A100 PCIe](https://gpuserver.io/ja/gpu/a100-80gb) | [4 × NVIDIA A100 SXM4](https://gpuserver.io/ja/gpu/a100-sxm4) |
|---|---|---|
| カード間のリンク | PCIe 5.0 ×16 | NVLink 3 · 600 GB/s |
| 総VRAM容量 | 320 GB | 320 GB |
| カードあたりのメモリ帯域幅 | 1,935 GB/s | 2,039 GB/s |
| Llama 3.3 70BをBF16でシャーディング シングルストリーム生成、当社の保守的な見積もり | 約18 tok/s | 約19 tok/s |
| 価格 | $4,157/月 | $4,395/月 |

当社のスループットモデルはメモリ帯域幅で制約され、意図的に保守的に見積もっています。オールリデュースそのものはモデル化していないため、テンソル並列ジョブでの実際の差は、この表が示すより*広く*なることはあっても、狭くなることはありません。この数値は両方のマシンの下限として捉え、重要なのは順序だと考えてください。

## 自分で測定する

これは初日に行ってください。2分で終わり、購入したマシンが、支払った分のトポロジーを備えているかどうかが分かります。

まずトポロジー、それから実際の帯域幅

```
# NV# means NVLink. PIX, PHB or SYS mean the traffic goes over PCIe.
$ nvidia-smi topo -m

# NVLink state and per-link throughput counters
$ nvidia-smi nvlink --status

# The honest test: an actual all-reduce across every card in the box.
# Compare busbw to the link's rated figure, not to the headline number.
$ docker run --rm --gpus all --ipc=host --shm-size=8g \
    nvcr.io/nvidia/pytorch:25.02-py3 \
    all_reduce_perf -b 8 -e 4G -f 2 -g 4
```

テンソル並列のために購入したノードで`topo -m`を実行し、2枚のカード間に`SYS`と表示された場合、その2枚はCPU経由・ソケットをまたいで通信しています。マシン上で最悪のケースです。当社のSXMノードでは、すべてのペアが`NV18`と表示されます。それ以外であれば故障であり、初日のうちにぜひ報告してほしい内容です。

## 何を買うべきか

1. **モデルが1枚のカードに収まりますか？**カードを1枚買ってください。このページの内容は何も当てはまらず、インターコネクトの上乗せ料金はお金を燃やしているようなものです。
2. **複数の独立したモデル、あるいは多数の独立したジョブですか？**必要な枚数だけPCIeカードを買ってください。1ドルあたりのVRAMが多く、リンクを越えることもありません。
3. **1枚のカードには大きすぎるモデルを、低い同時実行数でサービングしますか？**PCIeで問題ありません。シャーディングは得より損になると考えて、ノードは速度ではなくメモリ容量で選んでください。
4. **1枚のカードには大きすぎるモデルで、実際のトラフィックに対して推論を行うか、学習を行いますか？**これこそNVLinkが存在する理由のケースです。SXMを選んでください。
5. **1つのジョブに8枚を超えるカードが必要ですか？**それにはノード間のファブリックが必要で、当社では扱っていません。請求書を出したあとで伝えるより、ここで伝えたいと思います。[当社が提供していないもの](https://gpuserver.io/ja/network#limits)をご覧ください。

[コンフィギュレーター](https://gpuserver.io/ja/configure)が、自分がどのケースに当てはまるかを教えてくれます。モデルを選ぶと、カタログ内のすべてのノードについて、1枚のカードに収まるか、分割が必要か、まったく収まらないかを表示します。「分割」という言葉が出てきた瞬間から、このガイドが意味を持ち始めます。

## 自分のモデルが1枚のカードに収まるノードを確認してください。

コンフィギュレーターは、この41件の構成すべてについて答え、それぞれの価格を表示します。

[コンフィギュレーターを開く](https://gpuserver.io/ja/configure) [ガイドを読む](https://gpuserver.io/ja/guides)

## その他のガイド

- [サイジング · 9分 画像・動画モデル向けのカード選び FLUX、SDXL、SD 3.5、Wan 2.1がそれぞれ必要とするVRAM、カタログ内でそれを収められるカード、そして収まる中で最も安いカードが借りるべき最適解とは限らない理由。 ガイドを読む](https://gpuserver.io/ja/guides/gpu-for-flux-sdxl)
- [サイジング · 10分 量子化フォーマットの選び方 AWQ、GPTQ、GGUF、FP8それぞれがメモリ、速度、品質の面で払う代償。そして、重みが最も小さい形式が、最も小さいモデルになるとは限らない理由。 ガイドを読む](https://gpuserver.io/ja/guides/awq-vs-gptq-vs-fp8)
- [サイジング · 10分 混合エキスパートモデルを運用する 総パラメータ数がマシンを決め、アクティブパラメータ数が速度を決めます。DeepSeek V3とQwen 3 235Bが必要とするVRAM容量と、借りるべきノードを解説します。 ガイドを読む](https://gpuserver.io/ja/guides/mixture-of-experts)

---

出典: https://gpuserver.io/ja/guides/nvlink-vs-pcie/。このファイルはウェブサイトと同じデータから生成されています。ここに記載された数値がページの内容と異なる場合、ページの内容が正となり、このファイルは古い情報です。正式な出典はhttps://gpuserver.io/です。