Сравнение · Две карты PCIe на 80 GB

H100 PCIe или A100 PCIe?

Обе выделенные, обе помесячные, обе открываются без проверки личности. Их разделяют память, пропускная способность и $378 в месяц — а что из этого важно, полностью зависит от того, что вы собираетесь запускать.

$1,469/moH100 PCIe, одна карта
$1,091/moA100 PCIe, одна карта
80 vs 80 GBпамять на карту
1.0×разрыв в пропускной способности

Коротко

Какая и когда

Выбрать H100 PCIe: когда нужно более новое поколение при тех же возможностях — на практике разница будет небольшой.
Выбрать A100 PCIe: когда H100 PCIe не даёт вам ничего нужного. Та же память, сопоставимая пропускная способность, дешевле на $378/мес.
Neither, if: ваша модель не помещается на одну карту ни той, ни другой. Шардинг требует синхронизации на каждом слое — см. руководство по интерконнекту перед покупкой узла с несколькими GPU.

Бок о бок

H100 PCIe в сравнении с A100 PCIe
	H100 PCIe	A100 PCIe	Разница
Архитектура	Hopper	Ampere	Hopper — другое поколение
Память на карту	80 GB HBM3	80 GB HBM2e	Идентично
Пропускная способность памятиПрогнозирует скорость генерации	2,000 GB/s	1,935 GB/s	1.03× в пользу H100 PCIe
Форм-фактор	Карта расширения PCIe	Карта расширения PCIe	Одинаково
Конфигурации узла	1×, 2×, 4×, 8×	1×, 2×, 4×, 8×	До 640 GB в одном узле
От, в месяц	$1,469	$1,091	$378/мес разницы

Цена при каждой конфигурации узла

Ежемесячная цена обеих карт при каждой доступной конфигурации узла
Узел	H100 PCIe	A100 PCIe	Всего VRAM
1 × GPU	$1,469/mo	$1,091/mo	80 GB / 80 GB	H100 PCIe A100 PCIe
2 × GPU	$2,892/mo	$2,159/mo	160 GB / 160 GB	H100 PCIe A100 PCIe
4 × GPU	$5,564/mo	$4,157/mo	320 GB / 320 GB	H100 PCIe A100 PCIe
8 × GPU	$10,568/mo	$7,906/mo	640 GB / 640 GB	H100 PCIe A100 PCIe

Что вмещает каждая на одной карте

При контексте 8k — лучшая точность, которая помещается в память. Именно эта разница определяет покупку, а не таблица характеристик.

Только H100 PCIe

Ничего. Любую модель, которую H100 PCIe вмещает на одной карте, вмещает и A100 PCIe — разница между ними в скорости, а не в возможностях.

Только A100 PCIe

Ничего. H100 PCIe вмещает всё то же, что и A100 PCIe.

Одна и та же модель на обеих: Llama 3.3 70B. На H100 PCIe — примерно 26 токенов/с при 4-bit (AWQ, GPTQ); на A100 PCIe — примерно 25. Один поток, намеренно консервативно: при непрерывном батчинге суммарная скорость в разы выше на обеих картах. Полезное число — это соотношение, а не абсолютное значение.

Стоимость за GB и за TB/s

Два коэффициента, которые срезают путь через таблицу характеристик. Первый показывает, сколько стоит память; второй — сколько стоит скорость.

Стоимость гигабайта VRAM и терабайта в секунду пропускной способности
Карта	$/GB VRAM, в месяц	$/TB в секунду, в месяц	Лучше подходит для
H100 PCIe	$18.36	$735	Ни то, ни другое
A100 PCIe	$13.64	$564	Оба коэффициента

Эти коэффициенты ранжируют карты, но не выбирают за вас. Карта, которая дешевле за гигабайт, бесполезна, если гигабайт у неё слишком мало, чтобы вообще вместить вашу модель — объём памяти это порог, а не плавная шкала. Используйте их, чтобы выбрать между двумя картами, которые обе подходят.

H100 PCIe против A100 PCIe, коротко

Стоит ли H100 PCIe доплаты по сравнению с A100 PCIe?

Она стоит на $378 дороже в месяц — на 35% — за 3% больше пропускной способности памяти. На одной карте обе вмещают один и тот же набор моделей, поэтому разница — в скорости, а не в возможностях.

Какая быстрее для инференса LLM?

Скорость генерации ограничена пропускной способностью памяти, потому что каждый токен требует повторного чтения активных весов. У H100 PCIe — 2,000 GB/s против 1,935 GB/s, поэтому H100 PCIe опережает примерно на 3% на модели, которую вмещают обе карты.

Предлагаются ли обе в виде узлов с несколькими GPU?

H100 PCIe: 1×, 2×, 4×, 8×. A100 PCIe: 1×, 2×, 4×, 8×. Обе карты — PCIe, соединены peer-to-peer через шину, а не через NVLink.

Можно ли арендовать любую из них без проверки личности?

Да, обе, на одинаковых условиях. Ни документа, ни селфи, ни номера телефона, ни регистрации компании — при любом уровне расходов. Оплата в криптовалюте, у каждого инвойса свой адрес, а root-доступ появляется через менее 5 минут после первого подтверждения.

Другие сравнения

Обе уже установлены в стойки и готовы — во всех 6 дата-центрах.

Какую бы вы ни выбрали, она помесячная, оплачивается в криптовалюте, открывается без проверки личности и предоставляется через менее 5 минут.

Открыть конфигуратор Читать руководства