Сравнение · Скачок поколения на той же плате

H100 SXM5 или A100 SXM4?

Обе выделенные, обе помесячные, обе открываются без проверки личности. Их разделяют память, пропускная способность и $1,666 в месяц — а что из этого важно, полностью зависит от того, что вы собираетесь запускать.

$6,061/moH100 SXM5, одна карта
$4,395/moA100 SXM4, одна карта
80 vs 80 GBпамять на карту
1.6×разрыв в пропускной способности

Коротко

Какая и когда

Выбрать H100 SXM5: когда важна пропускная способность. Те же 80 GB, но на 64% больше пропускной способности памяти — именно она определяет скорость генерации — за $1,666/мес дороже.
Выбрать A100 SXM4: когда H100 SXM5 не даёт вам ничего нужного. Та же память, сопоставимая пропускная способность, дешевле на $1,666/мес.
Neither, if: ваша модель не помещается на одну карту ни той, ни другой. Шардинг требует синхронизации на каждом слое — см. руководство по интерконнекту перед покупкой узла с несколькими GPU.

Бок о бок

H100 SXM5 в сравнении с A100 SXM4
	H100 SXM5	A100 SXM4	Разница
Архитектура	Hopper	Ampere	Hopper — другое поколение
Память на карту	80 GB HBM3	80 GB HBM2e	Идентично
Пропускная способность памятиПрогнозирует скорость генерации	3,350 GB/s	2,039 GB/s	1.64× в пользу H100 SXM5
Форм-фактор	SXM на плате HGX	SXM на плате HGX	Одинаково
Конфигурации узла	4×, 8×	4×, 8×	До 640 GB в одном узле
От, в месяц	$6,061	$4,395	$1,666/мес разницы

Цена при каждой конфигурации узла

Ежемесячная цена обеих карт при каждой доступной конфигурации узла
Узел	H100 SXM5	A100 SXM4	Всего VRAM
4 × GPU	$6,061/mo	$4,395/mo	320 GB / 320 GB	H100 SXM5 A100 SXM4
8 × GPU	$11,509/mo	$8,355/mo	640 GB / 640 GB	H100 SXM5 A100 SXM4

Что вмещает каждая на одной карте

При контексте 8k — лучшая точность, которая помещается в память. Именно эта разница определяет покупку, а не таблица характеристик.

Только H100 SXM5

Ничего. Любую модель, которую H100 SXM5 вмещает на одной карте, вмещает и A100 SXM4 — разница между ними в скорости, а не в возможностях.

Только A100 SXM4

Ничего. H100 SXM5 вмещает всё то же, что и A100 SXM4.

Одна и та же модель на обеих: Llama 3.3 70B. На H100 SXM5 — примерно 43 токенов/с при 4-bit (AWQ, GPTQ); на A100 SXM4 — примерно 26. Один поток, намеренно консервативно: при непрерывном батчинге суммарная скорость в разы выше на обеих картах. Полезное число — это соотношение, а не абсолютное значение.

Стоимость за GB и за TB/s

Два коэффициента, которые срезают путь через таблицу характеристик. Первый показывает, сколько стоит память; второй — сколько стоит скорость.

Стоимость гигабайта VRAM и терабайта в секунду пропускной способности
Карта	$/GB VRAM, в месяц	$/TB в секунду, в месяц	Лучше подходит для
H100 SXM5	$75.76	$1,809	Пропускная способность
A100 SXM4	$54.94	$2,155	Память

Эти коэффициенты ранжируют карты, но не выбирают за вас. Карта, которая дешевле за гигабайт, бесполезна, если гигабайт у неё слишком мало, чтобы вообще вместить вашу модель — объём памяти это порог, а не плавная шкала. Используйте их, чтобы выбрать между двумя картами, которые обе подходят.

H100 SXM5 против A100 SXM4, коротко

Стоит ли H100 SXM5 доплаты по сравнению с A100 SXM4?

Она стоит на $1,666 дороже в месяц — на 38% — за 64% больше пропускной способности памяти. На одной карте обе вмещают один и тот же набор моделей, поэтому разница — в скорости, а не в возможностях.

Какая быстрее для инференса LLM?

Скорость генерации ограничена пропускной способностью памяти, потому что каждый токен требует повторного чтения активных весов. У H100 SXM5 — 3,350 GB/s против 2,039 GB/s, поэтому H100 SXM5 опережает примерно на 64% на модели, которую вмещают обе карты.

Предлагаются ли обе в виде узлов с несколькими GPU?

H100 SXM5: 4×, 8×. A100 SXM4: 4×, 8×. Карты SXM устанавливаются на плату HGX по четыре или восемь — никогда по две, никогда по десять — и соединяются через NVLink, а не PCIe.

Можно ли арендовать любую из них без проверки личности?

Да, обе, на одинаковых условиях. Ни документа, ни селфи, ни номера телефона, ни регистрации компании — при любом уровне расходов. Оплата в криптовалюте, у каждого инвойса свой адрес, а root-доступ появляется через менее 5 минут после первого подтверждения.

Другие сравнения

Обе уже установлены в стойки и готовы — во всех 6 дата-центрах.

Какую бы вы ни выбрали, она помесячная, оплачивается в криптовалюте, открывается без проверки личности и предоставляется через менее 5 минут.

Открыть конфигуратор Читать руководства