Сравнение · HBM против GDDR по сопоставимой цене

A100 PCIe или L40S?

Обе выделенные, обе помесячные, обе открываются без проверки личности. Их разделяют память, пропускная способность и $377 в месяц — а что из этого важно, полностью зависит от того, что вы собираетесь запускать.

$1,091/moA100 PCIe, одна карта
$714/moL40S, одна карта
80 vs 48 GBпамять на карту
2.2×разрыв в пропускной способности

Коротко

Какая и когда

Выбрать A100 PCIe: когда вашей модели нужно больше 48 GB на одной карте. Это порог, а не предпочтение — ниже него доплата $377/мес не даёт ничего.
Выбрать L40S: когда 48 GB вмещает вашу модель. Это экономит $377/мес, а неиспользуемая память — это память, за которую вы всё равно заплатили.
Neither, if: ваша модель не помещается на одну карту ни той, ни другой. Шардинг требует синхронизации на каждом слое — см. руководство по интерконнекту перед покупкой узла с несколькими GPU.

Бок о бок

A100 PCIe в сравнении с L40S
	A100 PCIe	L40S	Разница
Архитектура	Ampere	Ada Lovelace	Ampere — другое поколение
Память на карту	80 GB HBM2e	48 GB GDDR6 ECC	32 GB в пользу A100 PCIe
Пропускная способность памятиПрогнозирует скорость генерации	1,935 GB/s	864 GB/s	2.24× в пользу A100 PCIe
Форм-фактор	Карта расширения PCIe	Карта расширения PCIe	Одинаково
Конфигурации узла	1×, 2×, 4×, 8×	1×, 2×, 4×, 8×	До 640 GB в одном узле
От, в месяц	$1,091	$714	$377/мес разницы

Цена при каждой конфигурации узла

Ежемесячная цена обеих карт при каждой доступной конфигурации узла
Узел	A100 PCIe	L40S	Всего VRAM
1 × GPU	$1,091/mo	$714/mo	80 GB / 48 GB	A100 PCIe L40S
2 × GPU	$2,159/mo	$1,427/mo	160 GB / 96 GB	A100 PCIe L40S
4 × GPU	$4,157/mo	$2,754/mo	320 GB / 192 GB	A100 PCIe L40S
8 × GPU	$7,906/mo	$5,251/mo	640 GB / 384 GB	A100 PCIe L40S

Что вмещает каждая на одной карте

При контексте 8k — лучшая точность, которая помещается в память. Именно эта разница определяет покупку, а не таблица характеристик.

Только A100 PCIe

Ничего. Любую модель, которую A100 PCIe вмещает на одной карте, вмещает и L40S — разница между ними в скорости, а не в возможностях.

Только L40S

Ничего. A100 PCIe вмещает всё то же, что и L40S.

Одна и та же модель на обеих: Llama 3.3 70B. На A100 PCIe — примерно 25 токенов/с при 4-bit (AWQ, GPTQ); на L40S — примерно 11. Один поток, намеренно консервативно: при непрерывном батчинге суммарная скорость в разы выше на обеих картах. Полезное число — это соотношение, а не абсолютное значение.

Стоимость за GB и за TB/s

Два коэффициента, которые срезают путь через таблицу характеристик. Первый показывает, сколько стоит память; второй — сколько стоит скорость.

Стоимость гигабайта VRAM и терабайта в секунду пропускной способности
Карта	$/GB VRAM, в месяц	$/TB в секунду, в месяц	Лучше подходит для
A100 PCIe	$13.64	$564	Оба коэффициента
L40S	$14.88	$714	Ни то, ни другое

Эти коэффициенты ранжируют карты, но не выбирают за вас. Карта, которая дешевле за гигабайт, бесполезна, если гигабайт у неё слишком мало, чтобы вообще вместить вашу модель — объём памяти это порог, а не плавная шкала. Используйте их, чтобы выбрать между двумя картами, которые обе подходят.

A100 PCIe против L40S, коротко

Стоит ли A100 PCIe доплаты по сравнению с L40S?

Она стоит на $377 дороже в месяц — на 53% — за 32 GB памяти больше и124% больше пропускной способности памяти. На одной карте обе вмещают один и тот же набор моделей, поэтому разница — в скорости, а не в возможностях.

Какая быстрее для инференса LLM?

Скорость генерации ограничена пропускной способностью памяти, потому что каждый токен требует повторного чтения активных весов. У A100 PCIe — 1,935 GB/s против 864 GB/s, поэтому A100 PCIe опережает примерно на 124% на модели, которую вмещают обе карты.

Предлагаются ли обе в виде узлов с несколькими GPU?

A100 PCIe: 1×, 2×, 4×, 8×. L40S: 1×, 2×, 4×, 8×. Обе карты — PCIe, соединены peer-to-peer через шину, а не через NVLink.

Можно ли арендовать любую из них без проверки личности?

Да, обе, на одинаковых условиях. Ни документа, ни селфи, ни номера телефона, ни регистрации компании — при любом уровне расходов. Оплата в криптовалюте, у каждого инвойса свой адрес, а root-доступ появляется через менее 5 минут после первого подтверждения.

Другие сравнения

Обе уже установлены в стойки и готовы — во всех 6 дата-центрах.

Какую бы вы ни выбрали, она помесячная, оплачивается в криптовалюте, открывается без проверки личности и предоставляется через менее 5 минут.

Открыть конфигуратор Читать руководства