Cuánta VRAM necesita realmente un modelo.

La fórmula

Aquí no hay ninguna regla general que sobreviva al contacto con un segundo modelo. Todo el cálculo son tres líneas, y merece la pena hacerlas en lugar de confiar en un multiplicador.

# 1. Weights
weights_gb   = parameters_in_billions × bytes_per_parameter

# 2. KV cache, per token — then multiplied by the context you serve
bytes_per_tok = 2 × layers × kv_heads × head_dim × cache_bytes
cache_gb      = bytes_per_tok × context_tokens × batch / 1024³

# 3. Everything else
total_gb      = (weights_gb + cache_gb) × 1.15

El 2 se debe a que hay dos tensores por token, K y V. bytes_per_parameter es 2 para BF16, 1 para FP8, 0.5 para 4 bits. cache_bytes es un número independiente, y esa separación es la fuente más común de una respuesta equivocada — vea más abajo.

Pesos

La mitad fácil. Es exactamente lineal en el número de parámetros, y la única decisión es la precisión.

La cuantización en 4 bits cuesta calidad, y cuánto depende mucho más del modelo que del método. Es el intercambio correcto cuando supone la diferencia entre una tarjeta y cuatro; es un mal intercambio cuando ya tiene margen de sobra.

La caché KV

La mitad difícil, y la que decide si una máquina es adecuada a 4k e inútil a 128k. Depende de las capas y las cabezas KV — no de lo grande que sea el modelo.

Lea la última columna antes que la primera. Con un contexto de 4k, la caché es un error de redondeo en todos los modelos de aquí; a 128k es mayor que los pesos de un modelo de 70B en 4 bits. DeepSeek V3 es la excepción porque su atención latente comprime la caché por diseño — por eso resulta utilizable con contexto largo pese a ser el modelo más grande de la lista.

Dónde fallan las estimaciones

Ejemplos resueltos

Memoria total necesaria, pesos más caché más sobrecarga, con contexto de 8k y una solicitud. Es el mismo cálculo que el configurador ejecuta sobre cada configuración del catálogo.

La última columna es el nodo más barato de nuestro catálogo que aloja el modelo en 4 bits y contexto de 8k, con la velocidad de generación de flujo único que permite el ancho de banda de memoria. Las cifras de rendimiento son deliberadamente conservadoras y están calibradas frente a mediciones publicadas — trátelas como un mínimo garantizado, no como una promesa.

Servir más de una solicitud

Aquí es donde una máquina dimensionada para una demo se convierte en una máquina que no puede servir un producto. Los pesos se pagan una vez; la caché se paga por secuencia concurrente.

Llama 3.3 70B en 4 bits son 35 GB de pesos, haga lo que haga. Todo lo que supere los 35 GB en esa tabla es caché. Por eso «funcionaba bien en mi portátil» y «se cayó en producción» son el mismo modelo en la misma tarjeta.

Qué máquina implica eso

Tres reglas prácticas que se derivan de todo lo anterior, en el orden en que importan.

1. Una sola tarjeta gana a varias, siempre que sea posible. Sin sharding, sin sincronización entre capas, sin interconexión en la que pensar. Si su modelo, con su contexto, cabe en una sola tarjeta, compre esa tarjeta.
2. Dimensione para su contexto real y su concurrencia real, no para el máximo anunciado del modelo. El máximo anunciado es una capacidad, no un requisito.
3. Cuando tenga que aplicar sharding, prefiera NVLink. Dividir entre cuatro tarjetas PCIe funciona; dividir entre cuatro tarjetas NVLink funciona y es notablemente más rápido. La siguiente guía trata exactamente de cuándo merece la pena pagar esa diferencia.

El configurador ejecuta este cálculo en tiempo real sobre las 41 configuraciones: elija un modelo, una precisión y una longitud de contexto, y le indica qué nodos lo alojan, cuáles lo alojan en una sola tarjeta, y cuánto cuesta cada uno al mes. Usa la fórmula de esta página, así que si no está de acuerdo con nuestra aritmética ahora puede decir exactamente dónde.