A100 PCIe 80 GB или A100 PCIe 40 GB?
Обе выделенные, обе помесячные, обе открываются без проверки личности. Их разделяют память, пропускная способность и $699 в месяц — а что из этого важно, полностью зависит от того, что вы собираетесь запускать.
- $1,091/moA100 PCIe 80 GB, одна карта
- $392/moA100 PCIe 40 GB, одна карта
- 80 vs 40 GBпамять на карту
- 1.2×разрыв в пропускной способности
Коротко
Какая и когда
- Выбрать A100 PCIe 80 GB
- когда вашей модели нужно больше 40 GB на одной карте. Это порог, а не предпочтение — ниже него доплата $699/мес не даёт ничего.
- Выбрать A100 PCIe 40 GB
- когда 40 GB вмещает вашу модель. Это экономит $699/мес, а неиспользуемая память — это память, за которую вы всё равно заплатили.
- Neither, if
- ваша модель не помещается на одну карту ни той, ни другой. Шардинг требует синхронизации на каждом слое — см. руководство по интерконнекту перед покупкой узла с несколькими GPU.
Бок о бок
| A100 PCIe 80 GB | A100 PCIe 40 GB | Разница | |
|---|---|---|---|
| Архитектура | Ampere | Ampere | Одно поколение |
| Память на карту | 80 GB HBM2e | 40 GB HBM2 | 40 GB в пользу A100 PCIe 80 GB |
| Пропускная способность памяти | 1,935 GB/s | 1,555 GB/s | 1.24× в пользу A100 PCIe 80 GB |
| Форм-фактор | Карта расширения PCIe | Карта расширения PCIe | Одинаково |
| Конфигурации узла | 1×, 2×, 4×, 8× | 1×, 2×, 4×, 8× | До 640 GB в одном узле |
| От, в месяц | $1,091 | $392 | $699/мес разницы |
Цена при каждой конфигурации узла
| Узел | A100 PCIe 80 GB | A100 PCIe 40 GB | Всего VRAM | |
|---|---|---|---|---|
| 1 × GPU | $1,091/mo | $392/mo | 80 GB / 40 GB | A100 PCIe 80 GB A100 PCIe 40 GB |
| 2 × GPU | $2,159/mo | $802/mo | 160 GB / 80 GB | A100 PCIe 80 GB A100 PCIe 40 GB |
| 4 × GPU | $4,157/mo | $1,556/mo | 320 GB / 160 GB | A100 PCIe 80 GB A100 PCIe 40 GB |
| 8 × GPU | $7,906/mo | $2,983/mo | 640 GB / 320 GB | A100 PCIe 80 GB A100 PCIe 40 GB |
Что вмещает каждая на одной карте
При контексте 8k — лучшая точность, которая помещается в память. Именно эта разница определяет покупку, а не таблица характеристик.
Только A100 PCIe 80 GB
- Llama 3.3 70B — 4-bit (AWQ, GPTQ), ~25 ток/с
Только A100 PCIe 40 GB
Ничего. A100 PCIe 80 GB вмещает всё то же, что и A100 PCIe 40 GB.
Стоимость за GB и за TB/s
Два коэффициента, которые срезают путь через таблицу характеристик. Первый показывает, сколько стоит память; второй — сколько стоит скорость.
| Карта | $/GB VRAM, в месяц | $/TB в секунду, в месяц | Лучше подходит для |
|---|---|---|---|
| A100 PCIe 80 GB | $13.64 | $564 | Ни то, ни другое |
| A100 PCIe 40 GB | $9.80 | $252 | Оба коэффициента |
Эти коэффициенты ранжируют карты, но не выбирают за вас. Карта, которая дешевле за гигабайт, бесполезна, если гигабайт у неё слишком мало, чтобы вообще вместить вашу модель — объём памяти это порог, а не плавная шкала. Используйте их, чтобы выбрать между двумя картами, которые обе подходят.
A100 PCIe 80 GB против A100 PCIe 40 GB, коротко
Стоит ли A100 PCIe 80 GB доплаты по сравнению с A100 PCIe 40 GB?
Какая быстрее для инференса LLM?
Предлагаются ли обе в виде узлов с несколькими GPU?
Можно ли арендовать любую из них без проверки личности?
Другие сравнения
Обе уже установлены в стойки и готовы — во всех 6 дата-центрах.
Какую бы вы ни выбрали, она помесячная, оплачивается в криптовалюте, открывается без проверки личности и предоставляется через менее 5 минут.