O que uma mistura de especialistas realmente custa.

A versão resumida

Uma mistura de especialistas divide a parte feed-forward de cada camada em muitas redes pequenas e envia cada token por apenas alguns deles. O nome publicado registra os dois fatos: o número total de parâmetros, e o número que fica ativo para cada token. Você precisa manter todo o primeiro na memória, e só lê o segundo por token. Essa única frase é o guia inteiro, e invertê-la é o erro mais caro que vemos as pessoas cometerem antes de finalizar um pedido.

A consequência é um modelo com um formato de custo estranho: ele é alugado como um gigante e roda como um modelo de porte médio. Se isso é uma vantagem ou uma armadilha depende inteiramente de qual dos dois números é o seu gargalo.

A aritmética abaixo é a mesma que o configurador roda, sobre o mesmo catálogo. Se você ainda não calculou quanta memória um modelo precisa no geral, essa fórmula vem primeiro — esta página é o que muda quando o modelo é uma mistura de especialistas.

Lendo o nome

Três convenções de nomenclatura estão em circulação, e todas codificam o mesmo par de números, por isso a confusão persiste. Depois que você souber lê-las, a questão do dimensionamento se resolve sozinha.

A última coluna é a que você deve lembrar. Um modelo denso lê tudo o que armazena; uma mistura de especialistas lê uma fatia. Tudo o que há de estranho nesses modelos — bom e ruim — vem dessa única linha.

A memória que você realmente aluga

Aqui está toda a armadilha em uma única tabela. A coluna do meio é o que o modelo precisa na máquina; a coluna seguinte é o que um leitor que tomasse o número de ativos ao pé da letra teria orçado. A última coluna é a conta dessa leitura errada.

Leia a última coluna como um erro de compra. Quem dimensiona apenas pela contagem de ativos sairia procurando uma única placa e acabaria precisando de um nó inteiro — não uma máquina um pouco maior, mas uma categoria de máquina diferente, a um preço diferente.

O que os parâmetros ativos compram

A geração é limitada pela largura de banda de memória: cada novo token exige reler os pesos que participam dele. Uma mistura de especialistas lê apenas sua fatia ativa, então o teto da sua velocidade é definido por um número muito menor do que seu tamanho sugere. Essa parte da promessa é real, e é por isso que esses modelos existem.

A tabela abaixo coloca todos os modelos na mesma máquina — 8 × NVIDIA A100 PCIe a $7,906 por mês, o nó mais barato do nosso catálogo que comporta todos eles ao mesmo tempo. Comparar números de throughput obtidos em máquinas diferentes não compara nada.

As duas linhas que vale a pena comparar são a maior mistura de especialistas e o maior modelo denso, porque ambos são divididos pelo nó inteiro. A mistura é o modelo maior, por uma margem ampla, e mesmo assim gera mais rápido, já que lê apenas uma fração de si mesma por token — essa é a troca que a arquitetura existe para fazer. Leia de forma diferente as linhas marcadas como em uma placa: esses modelos ocupam uma única placa do nó e deixam as outras sete livres, o que é uma máquina mais barata esperando para ser escolhida, não uma mais lenta.

A segunda coisa que a aritmética esconde é que uma mistura de especialistas é mais difícil de dividir bem entre placas. Um modelo denso dividido entre placas sincroniza uma vez por camada; uma mistura também precisa rotear tokens para a placa que guarda o especialista escolhido, o que é um padrão de tráfego diferente e menos previsível. Esta é uma das poucas cargas de trabalho em que a interconexão realmente justifica seu preço, em vez de apenas aparecer na fatura.

A metade que fica mais barata

Até agora, tudo foram más notícias para os modelos grandes. Eis a compensação, e é uma grande, que quase nenhuma comparação menciona: os modelos com mais parâmetros nesta página têm o menor cache de chave/valor por token. O cache é definido pelo design da atenção — camadas, cabeças de chave/valor, dimensão da cabeça — e não tem nada a ver com quantos especialistas ficam por trás da atenção.

Essas colunas são por requisição simultânea. Multiplique pelo número de pessoas usando o endpoint ao mesmo tempo, e o ranking na última coluna decide sua máquina muito mais do que os pesos.

A leitura prática: os pesos são uma taxa de entrada fixa, o cache é o custo de operação. Uma mistura de especialistas cobra uma taxa de entrada enorme e depois um custo de operação pequeno por usuário. Um modelo denso de capacidade comparável funciona ao contrário. Qual dos dois é mais barato para você depende da concorrência e do comprimento de contexto, não da contagem de parâmetros na ficha do modelo.

Quais máquinas os comportam

Em 4 bits, com o contexto de referência, considerando o nó mais barato do nosso catálogo que comporta cada modelo — seja em uma placa ou dividido pelo nó. Estes são os bilhetes de entrada, não recomendações; a próxima seção explica o porquê.

Cada um destes é um nó de várias placas, e essa é a manchete honesta desta página: nada em nosso catálogo comporta um desses modelos em uma única placa, por menor que a contagem de ativos os faça parecer. O catálogo completo tem o restante das configurações, e o configurador vai rodar essa mesma verificação com o seu próprio modelo e contexto.

O nó mais barato é o errado

Caber é um limiar, não uma meta. Uma vez que um modelo é dividido entre as placas de um nó, o throughput depende da largura de banda de memória dessas placas — e a largura de banda por dólar varia por mais de um fator de dois entre configurações que atendem à mesma exigência de memória. Aqui está DeepSeek V3 671B-A37B (MoE) em cada nó que o comporta, ordenado por preço, com a única coluna que importa à direita.

A célula verde é o melhor custo-benefício da lista, e não é a linha mais barata. Ir de $7,906 para $11,790 multiplica a fatura por 1.5× e o throughput por 2.8× — você paga mais, e cada token custa menos. Ordenar um catálogo por preço e escolher a primeira máquina que cabe é a forma como um orçamento de serving acaba sendo gasto duas vezes.

Uma ressalva sobre essa coluna, válida para qualquer tabela de preço por throughput que você venha a ler: ela usa geração em fluxo único. Sob processamento contínuo por lotes, o agregado sobe várias vezes mais em cada linha, e não sobe pelo mesmo múltiplo em todas — um nó com mais memória livre depois dos pesos comporta mais sequências simultâneas. O ranking é estável; os valores absolutos são conservadores. A economia desse agregado é discutida separadamente.

Quando uma mistura de especialistas é a resposta certa

Em ordem. Pare na primeira linha que descreve você.

1. Um modelo denso que cabe em uma placa já resolve. Nesse caso, escolha-o e não olhe para trás. Uma única placa significa nenhum sharding, nenhuma questão de interconexão, nenhum tráfego de roteamento entre especialistas, e uma máquina que custa uma fração de um nó. A maioria dos produtos que pensa precisar de um modelo aberto de fronteira precisa mesmo é de um bom 32B.
2. Você precisa da qualidade e seu contexto é longo. É aqui que uma mistura de especialistas é genuinamente o melhor instrumento disponível: você paga uma vez pelos pesos, e o cache pequeno faz a máquina continuar servindo conversas longas sem travar. Dimensione o nó pelos pesos, depois confira a tabela de cache para o seu contexto real.
3. Você precisa da qualidade e atende muitas pessoas ao mesmo tempo. Mesma resposta, mesmo motivo, e a vantagem cresce com a concorrência. O custo fixo é amortizado entre todos os fluxos, enquanto o custo por fluxo permanece baixo.
4. Você precisa da qualidade, mas só ocasionalmente. Nesse caso, você estaria alugando um nó grande só para mantê-lo aquecido por algumas horas por semana, o pior uso possível de um prazo mensal. Ou agrupe o trabalho para rodar tudo de uma vez, ou use um endpoint hospedado para esse caso e reserve sua própria máquina para a carga constante.
5. Você quer fazer fine-tuning de um. Problema diferente, máquina maior: o treinamento toca todo especialista e precisa do estado do otimizador para todos eles, então a memória que já complicava a inferência se torna proibitiva. O fine-tuning de adaptadores em um modelo denso é o caminho realista para quase todo mundo.

Qualquer que seja a linha em que você parou, o primeiro número a conferir é a contagem total de parâmetros, na precisão que você pretende usar para servir. Tudo o mais nesta página — a velocidade, o cache, o preço por token por segundo — só passa a importar quando o modelo está residente. O configurador roda essa verificação inteira contra cada nó que alugamos, e aplica a mesma correção de roteamento à estimativa de throughput que as tabelas acima. Se preferir ver a aritmética de memória completa primeiro, ela é um guia à parte; se você ainda não decidiu um formato numérico, essa escolha vem antes desta.