Lo que realmente cuesta una mezcla de expertos.

La versión corta

Una mezcla de expertos divide la parte feed-forward de cada capa en muchas redes pequeñas y hace pasar cada token por solo unas pocas de ellas. El nombre publicado recoge ambos datos: el número total de parámetros, y el número que está activo para un token cualquiera. El primero debe estar entero en memoria; el segundo es lo único que se lee en cada token. Esa única frase es la guía entera, y entenderla al revés es el error más caro que le hemos visto cometer a la gente antes de hacer un pedido.

La consecuencia es un modelo con una forma de coste extraña: se alquila como un gigante y funciona como uno de tamaño medio. Que eso sea una ganga o una trampa depende por completo de cuál de los dos números sea su cuello de botella.

La aritmética de más abajo es la misma que ejecuta el configurador, sobre el mismo catálogo. Si todavía no ha calculado cuánta memoria necesita un modelo en general, esa fórmula va primero —esta página es lo que cambia en cuanto el modelo es una mezcla de expertos.

Leer el nombre

Circulan tres convenciones de nomenclatura, y las tres codifican el mismo par de números, por eso sobrevive la confusión. En cuanto sepa leerlas, la pregunta del dimensionamiento se responde sola.

La última columna es la que hay que recordar. Un modelo denso lee todo lo que almacena; una mezcla de expertos lee una porción. Todo lo que estos modelos tienen de extraño — bueno y malo — sale de esa única línea.

La memoria que realmente alquila

Aquí está la trampa entera en una sola tabla. La columna del medio es lo que el modelo necesita en la máquina; la columna siguiente es lo que habría presupuestado un lector que se tomara al pie de la letra la cifra de activos. La última columna es la factura de esa mala lectura.

Lea la última columna como un error de compra. Quien dimensione solo con la cifra de activos se pondría a buscar una sola tarjeta y acabaría necesitando un nodo entero — no una máquina algo más grande, sino una máquina de otra categoría, y de otro precio.

Lo que compran los parámetros activos

La generación está limitada por el ancho de banda de memoria: cada token nuevo exige releer los pesos que intervienen en él. Una mezcla de expertos solo lee su porción activa, así que el techo de su velocidad lo marca un número mucho más pequeño de lo que sugiere su tamaño. Esa parte de la promesa es real, y es la razón de que estos modelos existan.

La tabla de abajo pone todos los modelos en la misma máquina — 8 × NVIDIA A100 PCIe a $7,906 al mes, el nodo más barato de nuestro catálogo en el que caben todos a la vez. Comparar cifras de rendimiento tomadas en máquinas distintas no compara nada.

Las dos filas que merece la pena comparar son la mezcla de expertos más grande y el modelo denso más grande, porque ambos están repartidos entre todo el nodo. La mezcla es el modelo más grande, por un margen amplio, y aun así genera más rápido, porque lee una fracción de sí misma por token — ese es precisamente el intercambio que justifica la arquitectura. Lea de otra manera las filas marcadas como en una tarjeta: esos modelos ocupan una sola tarjeta del nodo y dejan las otras siete libres, lo que es una máquina más barata esperando a que la elijan, no una más lenta.

Lo segundo que oculta la aritmética es que una mezcla de expertos es más difícil de repartir bien. Un modelo denso repartido entre tarjetas se sincroniza una vez por capa; una mezcla, además, tiene que enviar cada token a la tarjeta que tenga el experto elegido, lo cual es un patrón de tráfico distinto y menos predecible. Esta es una de las pocas cargas de trabajo en las que la interconexión de verdad justifica su precio, en lugar de limitarse a aparecer en la factura.

La mitad que sale más barata

Todo lo anterior han sido malas noticias para los modelos grandes. Aquí está la compensación, y es grande, y casi ninguna comparación la menciona: los modelos con más parámetros de esta página tienen la caché de clave/valor más pequeña por token. La caché la determina el diseño de la atención —capas, cabezas de clave/valor, dimensión de cabeza— y no tiene nada que ver con cuántos expertos haya detrás de la atención.

Esas columnas son por solicitud concurrente. Multiplique por el número de personas que usan el endpoint a la vez, y el orden de la última columna decide su máquina mucho más que los pesos.

La lectura práctica: los pesos son una entrada fija, la caché es el coste de funcionamiento. Una mezcla de expertos cobra una entrada enorme y luego un coste de funcionamiento pequeño por usuario. Un modelo denso de capacidad comparable funciona al revés. Cuál de los dos le sale más barato lo deciden la concurrencia y la longitud de contexto, no el recuento de parámetros de la ficha del modelo.

En qué máquinas caben

En 4 bits, con el contexto de referencia, y tomando el nodo más barato de nuestro catálogo en el que cabe cada modelo — ya sea en una tarjeta o repartido entre el nodo. Son el umbral de entrada, no recomendaciones; la siguiente sección explica por qué.

Cada uno de estos es un nodo multitarjeta, y ese es el titular honesto de esta página: ninguno de estos modelos cabe en una sola tarjeta de nuestro catálogo, por pequeña que la cifra de activos los haga parecer. El catálogo completo tiene el resto de las configuraciones, y el configurador ejecutará esta misma comprobación con su propio modelo y contexto.

El nodo más barato es el equivocado

Caber es un umbral, no un objetivo. Una vez que un modelo está repartido entre un nodo, el rendimiento depende del ancho de banda de memoria de las tarjetas entre las que se reparte — y el ancho de banda por dólar varía en más del doble entre configuraciones que superan igualmente ese umbral de memoria. Aquí tiene a DeepSeek V3 671B-A37B (MoE) en cada nodo en el que cabe, ordenado por precio, con la única columna que importa a la derecha.

La celda verde es la mejor relación calidad-precio de la lista, y no es la fila más barata. Pasar de $7,906 a $11,790 multiplica la factura por 1.5× y el rendimiento por 2.8× — paga más y cada token le sale más barato. Ordenar un catálogo por precio y quedarse con la primera máquina que encaja es la forma de gastar dos veces el presupuesto de servicio.

Una advertencia sobre esa columna, y se aplica a cualquier tabla de precio por rendimiento que lea en su vida: usa generación de flujo único. Con procesamiento continuo por lotes, el agregado sube varias veces en cada fila, y no sube en la misma proporción en todas — un nodo con más memoria libre tras los pesos aguanta más secuencias concurrentes. El orden se mantiene estable; las cifras absolutas son conservadoras. La economía de ese agregado se explica aparte.

Cuándo una mezcla de expertos es la respuesta correcta

En orden. Deténgase en la primera línea que le describa.

1. Un modelo denso que cabe en una tarjeta hace el trabajo. Tómelo y no mire atrás. Una sola tarjeta significa nada de sharding, ninguna cuestión de interconexión, nada de tráfico de enrutamiento entre expertos, y una máquina que cuesta una fracción de un nodo. La mayoría de los productos que creen necesitar un modelo abierto de frontera solo necesitan un buen 32B.
2. Necesita la calidad y su contexto es largo. Aquí es donde una mezcla de expertos es, de verdad, el mejor instrumento disponible: paga una vez por los pesos, y la caché pequeña permite que la máquina siga sirviendo conversaciones largas sin venirse abajo. Dimensione el nodo según los pesos, y luego consulte la tabla de caché para su contexto real.
3. Necesita la calidad y sirve a mucha gente a la vez. Misma respuesta, mismo motivo, y la ventaja crece con la concurrencia. El coste fijo se amortiza entre todos los flujos, mientras que el coste por flujo se mantiene bajo.
4. Necesita la calidad, pero solo de vez en cuando. Entonces está alquilando un nodo grande para mantenerlo caliente unas horas a la semana, que es el peor uso posible de un plazo mensual. O agrupe el trabajo para que se ejecute de una sola vez, o use un endpoint alojado para este caso y reserve su propia máquina para la carga constante.
5. Quiere hacerle fine-tuning. Es otro problema, y una máquina más grande: el entrenamiento toca todos los expertos y necesita estado del optimizador para cada uno, así que la memoria que ya complicaba la inferencia se vuelve prohibitiva. El fine-tuning con adaptadores sobre un modelo denso es la vía realista para casi todo el mundo.

Sea cual sea la línea en la que se haya detenido, el primer número que hay que comprobar es el recuento total de parámetros, en la precisión con la que piense servir el modelo. Todo lo demás de esta página — la velocidad, la caché, el precio por token por segundo — solo importa una vez que el modelo está en memoria. El configurador hace toda esa comprobación contra cada nodo que alquilamos, y aplica a la estimación de rendimiento la misma corrección de enrutamiento que las tablas de arriba. Si prefiere ver antes la aritmética de memoria completa, es una guía propia; y si todavía no ha decidido el formato numérico, esa elección viene antes que esta.