L40S или RTX A6000?
Обе выделенные, обе помесячные, обе открываются без проверки личности. Их разделяют память, пропускная способность и $428 в месяц — а что из этого важно, полностью зависит от того, что вы собираетесь запускать.
- $714/moL40S, одна карта
- $286/moRTX A6000, одна карта
- 48 vs 48 GBпамять на карту
- 1.1×разрыв в пропускной способности
Коротко
Какая и когда
- Выбрать L40S
- когда важна пропускная способность. Те же 48 GB, но на 13% больше пропускной способности памяти — именно она определяет скорость генерации — за $428/мес дороже.
- Выбрать RTX A6000
- когда L40S не даёт вам ничего нужного. Та же память, сопоставимая пропускная способность, дешевле на $428/мес.
- Neither, if
- ваша модель не помещается на одну карту ни той, ни другой. Шардинг требует синхронизации на каждом слое — см. руководство по интерконнекту перед покупкой узла с несколькими GPU.
Бок о бок
| L40S | RTX A6000 | Разница | |
|---|---|---|---|
| Архитектура | Ada Lovelace | Ampere | Ada Lovelace — другое поколение |
| Память на карту | 48 GB GDDR6 ECC | 48 GB GDDR6 ECC | Идентично |
| Пропускная способность памяти | 864 GB/s | 768 GB/s | 1.13× в пользу L40S |
| Форм-фактор | Карта расширения PCIe | Карта расширения PCIe | Одинаково |
| Конфигурации узла | 1×, 2×, 4×, 8× | 1×, 2×, 4×, 8× | До 384 GB в одном узле |
| От, в месяц | $714 | $286 | $428/мес разницы |
Цена при каждой конфигурации узла
| Узел | L40S | RTX A6000 | Всего VRAM | |
|---|---|---|---|---|
| 1 × GPU | $714/mo | $286/mo | 48 GB / 48 GB | L40S RTX A6000 |
| 2 × GPU | $1,427/mo | $597/mo | 96 GB / 96 GB | L40S RTX A6000 |
| 4 × GPU | $2,754/mo | $1,163/mo | 192 GB / 192 GB | L40S RTX A6000 |
| 8 × GPU | $5,251/mo | $2,239/mo | 384 GB / 384 GB | L40S RTX A6000 |
Что вмещает каждая на одной карте
При контексте 8k — лучшая точность, которая помещается в память. Именно эта разница определяет покупку, а не таблица характеристик.
Только L40S
Ничего. Любую модель, которую L40S вмещает на одной карте, вмещает и RTX A6000 — разница между ними в скорости, а не в возможностях.
Только RTX A6000
Ничего. L40S вмещает всё то же, что и RTX A6000.
Стоимость за GB и за TB/s
Два коэффициента, которые срезают путь через таблицу характеристик. Первый показывает, сколько стоит память; второй — сколько стоит скорость.
| Карта | $/GB VRAM, в месяц | $/TB в секунду, в месяц | Лучше подходит для |
|---|---|---|---|
| L40S | $14.88 | $714 | Ни то, ни другое |
| RTX A6000 | $5.96 | $286 | Оба коэффициента |
Эти коэффициенты ранжируют карты, но не выбирают за вас. Карта, которая дешевле за гигабайт, бесполезна, если гигабайт у неё слишком мало, чтобы вообще вместить вашу модель — объём памяти это порог, а не плавная шкала. Используйте их, чтобы выбрать между двумя картами, которые обе подходят.
L40S против RTX A6000, коротко
Стоит ли L40S доплаты по сравнению с RTX A6000?
Какая быстрее для инференса LLM?
Предлагаются ли обе в виде узлов с несколькими GPU?
Можно ли арендовать любую из них без проверки личности?
Другие сравнения
Обе уже установлены в стойки и готовы — во всех 6 дата-центрах.
Какую бы вы ни выбрали, она помесячная, оплачивается в криптовалюте, открывается без проверки личности и предоставляется через менее 5 минут.