RTX 4090 или L4?
Обе выделенные, обе помесячные, обе открываются без проверки личности. Их разделяют память, пропускная способность и $68 в месяц — а что из этого важно, полностью зависит от того, что вы собираетесь запускать.
- $193/moRTX 4090, одна карта
- $125/moL4, одна карта
- 24 vs 24 GBпамять на карту
- 3.4×разрыв в пропускной способности
Коротко
Какая и когда
- Выбрать RTX 4090
- когда важна пропускная способность. Те же 24 GB, но на 236% больше пропускной способности памяти — именно она определяет скорость генерации — за $68/мес дороже.
- Выбрать L4
- когда RTX 4090 не даёт вам ничего нужного. Та же память, сопоставимая пропускная способность, дешевле на $68/мес.
- Neither, if
- ваша модель не помещается на одну карту ни той, ни другой. Шардинг требует синхронизации на каждом слое — см. руководство по интерконнекту перед покупкой узла с несколькими GPU.
Бок о бок
| RTX 4090 | L4 | Разница | |
|---|---|---|---|
| Архитектура | Ada Lovelace | Ada Lovelace | Одно поколение |
| Память на карту | 24 GB GDDR6X | 24 GB GDDR6 | Идентично |
| Пропускная способность памяти | 1,008 GB/s | 300 GB/s | 3.36× в пользу RTX 4090 |
| Форм-фактор | Карта расширения PCIe | Карта расширения PCIe | Одинаково |
| Конфигурации узла | 1×, 2×, 4×, 8× | 1×, 2×, 4×, 8×, 10× | До 240 GB в одном узле |
| От, в месяц | $193 | $125 | $68/мес разницы |
Цена при каждой конфигурации узла
| Узел | RTX 4090 | L4 | Всего VRAM | |
|---|---|---|---|---|
| 1 × GPU | $193/mo | $125/mo | 24 GB / 24 GB | RTX 4090 L4 |
| 2 × GPU | $416/mo | $285/mo | 48 GB / 48 GB | RTX 4090 L4 |
| 4 × GPU | $814/mo | $564/mo | 96 GB / 96 GB | RTX 4090 L4 |
| 8 × GPU | $1,579/mo | $1,106/mo | 192 GB / 192 GB | RTX 4090 L4 |
| 10 × GPU | $1,371/mo | 240 GB | L4 |
Что вмещает каждая на одной карте
При контексте 8k — лучшая точность, которая помещается в память. Именно эта разница определяет покупку, а не таблица характеристик.
Только RTX 4090
Ничего. Любую модель, которую RTX 4090 вмещает на одной карте, вмещает и L4 — разница между ними в скорости, а не в возможностях.
Только L4
Ничего. RTX 4090 вмещает всё то же, что и L4.
Стоимость за GB и за TB/s
Два коэффициента, которые срезают путь через таблицу характеристик. Первый показывает, сколько стоит память; второй — сколько стоит скорость.
| Карта | $/GB VRAM, в месяц | $/TB в секунду, в месяц | Лучше подходит для |
|---|---|---|---|
| RTX 4090 | $8.04 | $191 | Ни то, ни другое |
| L4 | $5.21 | $125 | Оба коэффициента |
Эти коэффициенты ранжируют карты, но не выбирают за вас. Карта, которая дешевле за гигабайт, бесполезна, если гигабайт у неё слишком мало, чтобы вообще вместить вашу модель — объём памяти это порог, а не плавная шкала. Используйте их, чтобы выбрать между двумя картами, которые обе подходят.
RTX 4090 против L4, коротко
Стоит ли RTX 4090 доплаты по сравнению с L4?
Какая быстрее для инференса LLM?
Предлагаются ли обе в виде узлов с несколькими GPU?
Можно ли арендовать любую из них без проверки личности?
Другие сравнения
Обе уже установлены в стойки и готовы — во всех 6 дата-центрах.
Какую бы вы ни выбрали, она помесячная, оплачивается в криптовалюте, открывается без проверки личности и предоставляется через менее 5 минут.