¿A100 PCIe 80 GB o A100 PCIe 40 GB?
Ambas son dedicadas, ambas son mensuales, ambas se activan sin verificación de identidad. Lo que las separa es la memoria, el ancho de banda y $699 al mes; y cuál de ellos importa depende por completo de lo que vaya a ejecutar.
- $1,091/moA100 PCIe 80 GB, una tarjeta
- $392/moA100 PCIe 40 GB, una tarjeta
- 80 vs 40 GBmemoria por tarjeta
- 1.2×diferencia de ancho de banda
La respuesta corta
Cuál, y cuándo
- Elegir la A100 PCIe 80 GB
- cuando su modelo necesite más de 40 GB en una sola tarjeta. Eso es un umbral, no una preferencia: por debajo de él, los $699/mes de más no le compran nada.
- Elegir la A100 PCIe 40 GB
- cuando 40 GB aloja su modelo. Ahorra $699/mes, y la memoria que no usa es memoria que ha pagado.
- Neither, if
- su modelo no cabe en una sola tarjeta de ninguna de las dos. El sharding tiene un coste de sincronización en cada capa: consulte la guía de interconexión antes de comprar un nodo multi-GPU.
Lado a lado
| A100 PCIe 80 GB | A100 PCIe 40 GB | Diferencia | |
|---|---|---|---|
| Arquitectura | Ampere | Ampere | Misma generación |
| Memoria por tarjeta | 80 GB HBM2e | 40 GB HBM2 | 40 GB a favor de la A100 PCIe 80 GB |
| Ancho de banda de memoria | 1,935 GB/s | 1,555 GB/s | 1.24× a favor de la A100 PCIe 80 GB |
| Factor de forma | Tarjeta de expansión PCIe | Tarjeta de expansión PCIe | Igual |
| Tamaños de nodo | 1×, 2×, 4×, 8× | 1×, 2×, 4×, 8× | Hasta 640 GB en un nodo |
| Desde, al mes | $1,091 | $392 | $699/mes de diferencia |
Precio en cada tamaño de nodo
| Nodo | A100 PCIe 80 GB | A100 PCIe 40 GB | VRAM total | |
|---|---|---|---|---|
| 1 × GPU | $1,091/mo | $392/mo | 80 GB / 40 GB | A100 PCIe 80 GB A100 PCIe 40 GB |
| 2 × GPU | $2,159/mo | $802/mo | 160 GB / 80 GB | A100 PCIe 80 GB A100 PCIe 40 GB |
| 4 × GPU | $4,157/mo | $1,556/mo | 320 GB / 160 GB | A100 PCIe 80 GB A100 PCIe 40 GB |
| 8 × GPU | $7,906/mo | $2,983/mo | 640 GB / 320 GB | A100 PCIe 80 GB A100 PCIe 40 GB |
Qué aloja cada una en una sola tarjeta
Con un contexto de 8k, la mejor precisión que cabe. Esa es la diferencia que decide una compra, no la ficha técnica.
Solo la A100 PCIe 80 GB
- Llama 3.3 70B — 4-bit (AWQ, GPTQ), ~25 tok/s
Solo la A100 PCIe 40 GB
Nada. La A100 PCIe 80 GB aloja todo lo que aloja la A100 PCIe 40 GB.
Coste por GB y por TB/s
Dos ratios que van directas al grano de la ficha técnica. La primera indica lo que cuesta la memoria; la segunda, lo que cuesta la velocidad.
| Tarjeta | $/GB de VRAM, al mes | $/TB por segundo, al mes | Mejor en |
|---|---|---|---|
| A100 PCIe 80 GB | $13.64 | $564 | Ninguna |
| A100 PCIe 40 GB | $9.80 | $252 | Ambas ratios |
Estas ratios clasifican las tarjetas; no eligen ninguna. Una tarjeta más barata por gigabyte no vale nada si tiene muy pocos gigabytes para alojar su modelo: la capacidad es un umbral, no una pendiente. Úselas para desempatar entre dos tarjetas que quepan ambas.
A100 PCIe 80 GB frente a A100 PCIe 40 GB, en resumen
¿Merece la pena el gasto extra de la A100 PCIe 80 GB frente a la A100 PCIe 40 GB?
¿Cuál es más rápida para la inferencia de LLM?
¿Existen ambas como nodos multi-GPU?
¿Puedo alquilar cualquiera de las dos sin verificación de identidad?
Otras comparativas
Ambas están instaladas en rack y listas, en los 6 centros de datos.
Elija la que elija, es mensual, se paga en cripto, se activa sin verificación de identidad y se entrega en en menos de 5 minutos.