比較・同じGPUでメモリは2倍
A100 PCIe 80 GBかA100 PCIe 40 GBか？
どちらも専有で、どちらも月額制、どちらも本人確認なしで利用開始できます。両者を分けるのはメモリ、帯域幅、そして月額$699の差であり、どれが重要かは何を実行するか次第です。
- $1,091/moA100 PCIe 80 GB、1枚
- $392/moA100 PCIe 40 GB、1枚
- 80 vs 40 GB1カードあたりのメモリ
- 1.2×帯域幅の差
簡潔な答え
どちらを、いつ選ぶか
- A100 PCIe 80 GBを選ぶ
- モデルが1枚のカードで40GBを超えるメモリを必要とする場合。これは好みの問題ではなくしきい値であり、それを下回るなら、追加の月額$699には何の意味もありません。
- A100 PCIe 40 GBを選ぶ
- 40GBでモデルが収まる場合。月額$699節約でき、使わないメモリは払っただけ無駄になります。
- Neither, if
- どちらのカード1枚にもモデルが収まらない場合。シャーディングには各レイヤーで同期コストが発生します。詳しくは インターコネクトガイド マルチGPUノードを購入する前に。
並べて比較
| A100 PCIe 80 GB | A100 PCIe 40 GB | 差 | |
|---|---|---|---|
| アーキテクチャ | Ampere | Ampere | 同世代 |
| カードあたりのメモリ | 80GBHBM2e | 40GBHBM2 | 40GB分、A100 PCIe 80 GBが有利 |
| メモリ帯域幅 | 1,935 GB/s | 1,555 GB/s | 1.24倍、A100 PCIe 80 GBが有利 |
| フォームファクター | PCIeアドインカード | PCIeアドインカード | 同じ |
| ノードサイズ | 1×, 2×, 4×, 8× | 1×, 2×, 4×, 8× | 1ノードで最大640GB |
| 月額（〜から） | $1,091 | $392 | 月額$699の差 |
全ノードサイズの価格
| ノード | A100 PCIe 80 GB | A100 PCIe 40 GB | 総VRAM容量 | |
|---|---|---|---|---|
| 1 × GPU | $1,091/mo | $392/mo | 80 GB / 40 GB | A100 PCIe 80 GB A100 PCIe 40 GB |
| 2 × GPU | $2,159/mo | $802/mo | 160 GB / 80 GB | A100 PCIe 80 GB A100 PCIe 40 GB |
| 4 × GPU | $4,157/mo | $1,556/mo | 320 GB / 160 GB | A100 PCIe 80 GB A100 PCIe 40 GB |
| 8 × GPU | $7,906/mo | $2,983/mo | 640 GB / 320 GB | A100 PCIe 80 GB A100 PCIe 40 GB |
それぞれが1枚のカードで保持できる量
8kコンテキストにおいて、収まる範囲で最も高い精度を使用します。購入を決めるのはこの違いであり、スペック表ではありません。
A100 PCIe 80 GBのみ
- Llama 3.3 70B・4-bit (AWQ, GPTQ)、約25 tok/s
A100 PCIe 40 GBのみ
ありません。A100 PCIe 80 GBはA100 PCIe 40 GBが保持できるものをすべて保持できます。
両方で同じモデル:Qwen 3 32B。
A100 PCIe 80 GBではBF16 / FP16においておよそ14トークン/秒、
A100 PCIe 40 GBではおよそ22です。
いずれもシングルストリームでの、意図的に控えめな数値です。連続バッチ処理を用いれば、両者とも合計スループットは数倍に達します。参考にすべきは絶対値ではなく、この比率です。
GBあたり、TB/秒あたりのコスト
スペック表を読み解く2つの比率です。1つ目はメモリの単価を、2つ目は速度の単価を示します。
| カード | $/GB(VRAM)、月額 | $/TB/秒、月額 | 得意な点 |
|---|---|---|---|
| A100 PCIe 80 GB | $13.64 | $564 | どちらでもない |
| A100 PCIe 40 GB | $9.80 | $252 | 両方の比率 |
これらの比率はカードの順位付けに使うものであり、選択そのものを決めるものではありません。1GBあたりの単価が安くても、モデルを保持するのに十分な容量がなければ意味がありません。容量は連続的な指標ではなく、満たすか満たさないかのしきい値です。両方とも要件を満たすカード同士で迷ったときに、これらの比率を使って判断してください。
A100 PCIe 80 GB対A100 PCIe 40 GB、要約
A100 PCIe 80 GBはA100 PCIe 40 GBより高い分の価値がありますか？
月額$699高くなります(178%)。それにより、メモリ帯域幅がメモリ40GB増、かつ24%増加します。また、1枚のカードでA100 PCIe 40 GBには保持できない1個のモデルを保持できます。
LLM推論はどちらが高速ですか？
生成速度はメモリ帯域幅によって制限されます。各トークンの生成のたびに、有効な重みを読み直す必要があるためです。A100 PCIe 80 GBは1,935GB/s、対する1,555GB/sであるため、両者が保持できるモデルにおいてA100 PCIe 80 GBがおよそ24%上回ります。
どちらもマルチGPUノードとして提供されますか？
A100 PCIe 80 GB: 1×, 2×, 4×, 8×. A100 PCIe 40 GB: 1×, 2×, 4×, 8×. どちらもPCIeカードであり、NVLinkではなくバス経由のピアツーピア接続で結ばれています。
どちらも本人確認なしで借りられますか？
はい、どちらも同じ条件です。身分証明書も自撮り写真も電話番号も法人登記も不要で、支払い額の多寡は関係ありません。支払いは暗号資産で行い、請求書ごとに個別のアドレスが発行され、rootアクセスは最初の承認から5分未満後に利用可能になります。
他の比較
どちらもラックに搭載済みで、6か所すべてのデータセンターで待機しています。
どちらを選んでも、月額制・暗号資産払い・本人確認不要で、5分未満で提供されます。