¿L40S o RTX A6000?
Ambas son dedicadas, ambas son mensuales, ambas se activan sin verificación de identidad. Lo que las separa es la memoria, el ancho de banda y $428 al mes; y cuál de ellos importa depende por completo de lo que vaya a ejecutar.
- $714/moL40S, una tarjeta
- $286/moRTX A6000, una tarjeta
- 48 vs 48 GBmemoria por tarjeta
- 1.1×diferencia de ancho de banda
La respuesta corta
Cuál, y cuándo
- Elegir la L40S
- cuando el rendimiento importa. Los mismos 48 GB, pero un 13 % más de ancho de banda de memoria —que es lo que determina la velocidad de generación— por $428/mes más.
- Elegir la RTX A6000
- cuando la L40S no le ofrece nada que necesite. Misma memoria, ancho de banda comparable, $428/mes más barata.
- Neither, if
- su modelo no cabe en una sola tarjeta de ninguna de las dos. El sharding tiene un coste de sincronización en cada capa: consulte la guía de interconexión antes de comprar un nodo multi-GPU.
Lado a lado
| L40S | RTX A6000 | Diferencia | |
|---|---|---|---|
| Arquitectura | Ada Lovelace | Ampere | Ada Lovelace es de otra generación |
| Memoria por tarjeta | 48 GB GDDR6 ECC | 48 GB GDDR6 ECC | Idéntica |
| Ancho de banda de memoria | 864 GB/s | 768 GB/s | 1.13× a favor de la L40S |
| Factor de forma | Tarjeta de expansión PCIe | Tarjeta de expansión PCIe | Igual |
| Tamaños de nodo | 1×, 2×, 4×, 8× | 1×, 2×, 4×, 8× | Hasta 384 GB en un nodo |
| Desde, al mes | $714 | $286 | $428/mes de diferencia |
Precio en cada tamaño de nodo
| Nodo | L40S | RTX A6000 | VRAM total | |
|---|---|---|---|---|
| 1 × GPU | $714/mo | $286/mo | 48 GB / 48 GB | L40S RTX A6000 |
| 2 × GPU | $1,427/mo | $597/mo | 96 GB / 96 GB | L40S RTX A6000 |
| 4 × GPU | $2,754/mo | $1,163/mo | 192 GB / 192 GB | L40S RTX A6000 |
| 8 × GPU | $5,251/mo | $2,239/mo | 384 GB / 384 GB | L40S RTX A6000 |
Qué aloja cada una en una sola tarjeta
Con un contexto de 8k, la mejor precisión que cabe. Esa es la diferencia que decide una compra, no la ficha técnica.
Solo la L40S
Nada. Todos los modelos que la L40S aloja en una tarjeta, la RTX A6000 también los aloja: la diferencia entre ambas está en la velocidad, no en la capacidad.
Solo la RTX A6000
Nada. La L40S aloja todo lo que aloja la RTX A6000.
Coste por GB y por TB/s
Dos ratios que van directas al grano de la ficha técnica. La primera indica lo que cuesta la memoria; la segunda, lo que cuesta la velocidad.
| Tarjeta | $/GB de VRAM, al mes | $/TB por segundo, al mes | Mejor en |
|---|---|---|---|
| L40S | $14.88 | $714 | Ninguna |
| RTX A6000 | $5.96 | $286 | Ambas ratios |
Estas ratios clasifican las tarjetas; no eligen ninguna. Una tarjeta más barata por gigabyte no vale nada si tiene muy pocos gigabytes para alojar su modelo: la capacidad es un umbral, no una pendiente. Úselas para desempatar entre dos tarjetas que quepan ambas.
L40S frente a RTX A6000, en resumen
¿Merece la pena el gasto extra de la L40S frente a la RTX A6000?
¿Cuál es más rápida para la inferencia de LLM?
¿Existen ambas como nodos multi-GPU?
¿Puedo alquilar cualquiera de las dos sin verificación de identidad?
Otras comparativas
Ambas están instaladas en rack y listas, en los 6 centros de datos.
Elija la que elija, es mensual, se paga en cripto, se activa sin verificación de identidad y se entrega en en menos de 5 minutos.