H100 SXM5 oder H100 PCIe?
Beide sind dediziert, beide monatlich, beide ohne Identitätsprüfung nutzbar. Was sie unterscheidet, sind Speicher, Bandbreite und $4,592 im Monat — und was davon zählt, hängt ganz davon ab, was Sie betreiben wollen.
- $6,061/moH100 SXM5, eine Karte
- $1,469/moH100 PCIe, eine Karte
- 80 vs 80 GBSpeicher pro Karte
- 1.7×Bandbreitenunterschied
Die kurze Antwort
Welche, und wann
- Die H100 SXM5 wählen
- wenn Durchsatz zählt. Gleiche 80 GB, aber 68% mehr Speicherbandbreite — das bestimmt die Generierungsgeschwindigkeit — für $4,592/Monat mehr.
- Die H100 PCIe wählen
- wenn die H100 SXM5 Ihnen nichts bietet, das Sie brauchen. Gleicher Speicher, vergleichbare Bandbreite, $4,592/Monat günstiger.
- Neither, if
- Ihr Modell auf keiner einzelnen Karte von beiden passt. Sharding kostet Synchronisation auf jeder Schicht — siehe den Interconnect-Leitfaden bevor Sie einen Multi-GPU-Knoten kaufen.
Nebeneinander
| H100 SXM5 | H100 PCIe | Unterschied | |
|---|---|---|---|
| Architektur | Hopper | Hopper | Gleiche Generation |
| GPU-Speicher pro Karte | 80 GB HBM3 | 80 GB HBM3 | Identisch |
| Speicherbandbreite | 3,350 GB/s | 2,000 GB/s | 1.68× zugunsten der H100 SXM5 |
| Formfaktor | SXM auf einem HGX-Board | PCIe-Steckkarte | NVLink gegenüber PCIe zwischen Karten |
| Knotengrößen | 4×, 8× | 1×, 2×, 4×, 8× | Bis zu 640 GB in einem Knoten |
| Ab, pro Monat | $6,061 | $1,469 | $4,592/Monat Unterschied |
Preis bei jeder Knotengröße
| Knoten | H100 SXM5 | H100 PCIe | VRAM gesamt | |
|---|---|---|---|---|
| 1 × GPU | $1,469/mo | 80 GB | H100 PCIe | |
| 2 × GPU | $2,892/mo | 160 GB | H100 PCIe | |
| 4 × GPU | $6,061/mo | $5,564/mo | 320 GB / 320 GB | H100 SXM5 H100 PCIe |
| 8 × GPU | $11,509/mo | $10,568/mo | 640 GB / 640 GB | H100 SXM5 H100 PCIe |
Was jede auf einer einzelnen Karte fasst
Bei 8k Kontext die beste Präzision, die passt. Das ist der Unterschied, der einen Kauf entscheidet — nicht das Datenblatt.
Nur die H100 SXM5
Nichts. Jedes Modell, das die H100 SXM5 auf einer Karte fasst, fasst auch die H100 PCIe — der Unterschied zwischen ihnen liegt in der Geschwindigkeit, nicht in der Kapazität.
Nur die H100 PCIe
Nichts. Die H100 SXM5 fasst alles, was auch die H100 PCIe fasst.
Kosten pro GB und pro TB/s
Zwei Verhältnisse, die das Datenblatt auf den Punkt bringen. Das erste sagt Ihnen, was Speicher kostet; das zweite, was Geschwindigkeit kostet.
| Karte | $/GB VRAM, pro Monat | $/TB pro Sekunde, pro Monat | Besser bei |
|---|---|---|---|
| H100 SXM5 | $75.76 | $1,809 | Keines von beidem |
| H100 PCIe | $18.36 | $735 | Beide Verhältnisse |
Diese Verhältnisse ordnen Karten, sie wählen keine aus. Eine Karte, die pro Gigabyte günstiger ist, ist wertlos, wenn sie zu wenig Gigabyte hat, um Ihr Modell überhaupt zu fassen — Kapazität ist eine Schwelle, keine Steigung. Nutzen Sie sie, um zwischen zwei passenden Karten zu entscheiden.
H100 SXM5 gegenüber H100 PCIe, kurz gesagt
Ist die H100 SXM5 den Aufpreis gegenüber der H100 PCIe wert?
Welche ist schneller für LLM-Inferenz?
Gibt es beide als Multi-GPU-Knoten?
Kann ich beide ohne Identitätsprüfung mieten?
Weitere Vergleiche
Beide sind eingebaut und einsatzbereit, in allen 6 Rechenzentren.
Für welche Sie sich auch entscheiden: monatlich, in Krypto bezahlt, ohne Identitätsprüfung eröffnet und in unter 5 Minuten geliefert.