对比 · 更大显存,更高带宽,同样架构
H200 SXM5 还是 H100 SXM5?
两者都是独享服务器,都按月计费,开通都无需身份核验。区别在于显存、带宽,以及每月 $2,344 的价差——而这些差异是否重要,完全取决于您打算运行什么。
- $8,405/moH200 SXM5,单卡
- $6,061/moH100 SXM5,单卡
- 141 vs 80 GB每卡显存
- 1.4×带宽差距
简短的答案
该选哪一款,以及何时选
- 选择 H200 SXM5
- 当您的模型在单卡上需要超过 80 GB 时。这是一道门槛,而非个人偏好——低于这个门槛,多花的每月 $2,344 什么也买不到。
- 选择 H100 SXM5
- 当 80 GB 就能容纳您的模型时。这样每月能省下 $2,344,而用不上的显存,也是您掏钱买的显存。
- Neither, if
- 您的模型在任何一款单卡上都装不下。拆分会在每一层都产生同步开销——请参阅 互联指南 购买多 GPU 节点之前。
并排对比
| H200 SXM5 | H100 SXM5 | 差异 | |
|---|---|---|---|
| 架构 | Hopper | Hopper | 同一代 |
| 单卡显存 | 141 GB HBM3e | 80 GB HBM3 | 多出 61 GB,优势归 H200 SXM5 |
| 显存带宽 | 4,800 GB/s | 3,350 GB/s | 1.43×,优势归 H200 SXM5 |
| 封装形式 | HGX 主板上的 SXM | HGX 主板上的 SXM | 相同 |
| 节点规格 | 4×, 8× | 4×, 8× | 单节点最高可达 1128 GB |
| 起价,每月 | $8,405 | $6,061 | 相差 $2,344/月 |
每种节点规格的价格
| 节点 | H200 SXM5 | H100 SXM5 | 总显存 | |
|---|---|---|---|---|
| 4 × GPU | $8,405/mo | $6,061/mo | 564 GB / 320 GB | H200 SXM5 H100 SXM5 |
| 8 × GPU | $15,945/mo | $11,509/mo | 1128 GB / 640 GB | H200 SXM5 H100 SXM5 |
各自在单卡上能容纳什么
在 8k 上下文下,选用能放得下的最佳精度。真正决定购买与否的是这一差异——而非规格表。
仅 H200 SXM5
- Qwen 3 235B-A22B (MoE)——4-bit (AWQ, GPTQ),约35 token/秒
- Mixtral 8×22B (MoE)——4-bit (AWQ, GPTQ),约20 token/秒
仅 H100 SXM5
没有。H200 SXM5 能容纳 H100 SXM5 所能容纳的一切。
两者上运行同一模型:Llama 3.3 70B。
在 H200 SXM5 上,约为每秒 31 个 token(FP8 时);
在 H100 SXM5 上,约为 43。
此数据为单流保守估算——在连续批处理下,两者的总吞吐量都会高出数倍。请把比值而非绝对值当作有参考意义的数字。
每 GB 与每 TB/s 的成本
两项比率,帮您看穿规格表背后的真相:第一项告诉您显存的价格,第二项告诉您速度的价格。
| 显卡 | $/GB 显存,每月 | $/TB 每秒,每月 | 更擅长 |
|---|---|---|---|
| H200 SXM5 | $59.61 | $1,751 | 两项比率 |
| H100 SXM5 | $75.76 | $1,809 | 无 |
这些比率用于给显卡排序,而不是替您做选择。如果一款显卡每 GB 更便宜,但显存总量根本不足以容纳您的模型,那这种便宜毫无意义——容量是一道门槛,而非一条渐变的曲线。请用这些比率,在两款都能装下您模型的显卡之间做取舍。
H200 SXM5 对比 H100 SXM5,简而言之
H200 SXM5 比 H100 SXM5 贵出的部分,值得吗?
每月贵 $2,344——即 39%——换来 多 61 GB 显存,以及43% 的显存带宽提升。它还能容纳 H100 SXM5 无法在单张显卡上容纳的 2 款模型。
在 LLM 推理方面,哪一款更快?
生成速度受限于显存带宽,因为每生成一个 token 都需要重新读取一次激活权重。H200 SXM5 的带宽为 4,800 GB/s,而对方为 3,350 GB/s,因此在双方都能容纳的模型上,H200 SXM5 的速度大约领先 43%。
两者都提供多 GPU 节点吗?
H200 SXM5: 4×, 8×. H100 SXM5: 4×, 8×. SXM 显卡搭载在四卡或八卡的 HGX 主板上——不会是两卡或十卡——并通过 NVLink 而非 PCIe 互联。
这两款我都能在无需身份核验的情况下租用吗?
是的,两款都一样,条件完全相同。无论消费金额多少,都无需证件、无需自拍照、无需电话号码,也无需公司注册信息。付款以加密货币结算,每张账单都有专属地址,首次确认到账后 5 分钟以内 内即可获得 root 权限。