Quantas pessoas uma GPU realmente atende.

A versão resumida

Todo guia que diz se um modelo cabe está respondendo a uma pergunta sobre uma única requisição. Um produto não é uma única requisição. No momento em que duas pessoas usam o seu endpoint ao mesmo tempo, a máquina precisa de uma segunda cópia da conversa na memória — e uma terceira, e uma quadragésima — enquanto os pesos em si ficam armazenados exatamente uma vez.

Então o número que decide quantas pessoas você consegue atender não é o tamanho da placa. É o tamanho da placa menos o modelo, dividido pelo que custa uma conversa. Os dois termos são conhecidos antes de você pedir qualquer coisa, o que faz da capacidade uma das poucas coisas em machine learning que dá para calcular no papel e acertar.

Tudo abaixo segue a mesma aritmética do configurador, no mesmo catálogo, em 4 bits com 8k de contexto. Se a fórmula de memória em si for nova para você, ela tem um guia só dela — esta página é o que acontece com ela quando mais de uma pessoa aparece.

O que sobra depois dos pesos

Pegue o modelo de referência deste site e coloque-o em cada tamanho de nó construído a partir da mesma placa. Mesmo silício, mesmo preço por placa, tudo igual — só a quantidade de memória muda. Observe as duas últimas colunas se movendo em velocidades completamente diferentes.

A primeira linha é a lição inteira: uma placa que nem sequer comporta os pesos não atende ninguém, e não chega nem perto. As linhas seguintes ganham memória em passos iguais e ganham vagas em passos cada vez maiores, porque o pedágio de 40 GB é pago na primeira linha e nunca mais.

O que um usuário realmente custa

Agora os mesmos modelos, ordenados da forma como um comprador os ordena: mais barato primeiro. A última coluna é o preço mensal dividido pelo número de pessoas que a máquina comporta de uma vez — a única coluna que compara duas máquinas com honestidade quando você está construindo algo além de uma demonstração.

Uma suposição, declarada porque muda cada número: cada número de vagas vale para uma única instância do modelo distribuída por todo o nó, que é o que --tensor-parallel-size oferece. Os pesos ficam armazenados uma vez, e cada placa contribui com a sua memória restante para o mesmo pool de conversas. Rode duas cópias separadas no mesmo nó, em vez disso, e você paga o pedágio duas vezes, por um total menor de vagas.

Leia as duas células coloridas junto com a sua coluna de preço. NVIDIA L40S custa $714 ao mês e comporta 2; 4 × NVIDIA L4 custa $564 — menos dinheiro — e comporta 19. Isso é 10× as vagas por 0.79× da fatura, e a mais cara é a que a maioria das pré-seleções mantém, porque é a única em que o modelo cabe em uma única placa.

Em todo o catálogo, e não apenas nas dez primeiras linhas, o melhor preço por vaga para este modelo é 8 × NVIDIA RTX A6000 por $2,239 ao mês: 119 requisições simultâneas, a $18.82 cada. É uma fatura bem maior do que qualquer coisa na pré-seleção acima, e ainda assim é a forma mais barata de acomodar um usuário — e é essa frase que decide se você está dimensionando um produto ou um protótipo.

O tamanho do contexto é o outro multiplicador

Tudo acima presumiu 8k de contexto. Essa suposição pesa mais do que a escolha da máquina. O cache é pago por token, além de por usuário, então o mesmo nó acomoda um número completamente diferente de pessoas dependendo de quanto você deixa uma conversa crescer.

Uma máquina, quatro modelos, quatro tamanhos de contexto. O nó é 8 × NVIDIA L4 por $1,106 ao mês — o mais barato do nosso catálogo que comporta os quatro modelos ao mesmo tempo, de modo que todo número abaixo é medido contra a mesma memória.

Em uma única máquina, sem nenhuma alteração, Llama 3.3 70B passa de 105 usuários simultâneos para 3 — um fator de 35× — só por causa de um número que você define na linha de comando. Nada no hardware mudou.

Duas coisas decorrem disso. A primeira é que a coluna de contexto que você deve ler é a que você realmente atende, não a que a ficha do modelo anuncia — um modelo que suporta 128k não obriga você a reservá-lo. A segunda é que o cache por token varia enormemente entre modelos de tamanho semelhante, porque ele é definido pelo design de atenção, e não pelo número de parâmetros; os maiores modelos dessa tabela têm alguns dos menores caches, o que é o fato mais contraintuitivo de toda essa área.

Quatro formas de recuperar capacidade

Em ordem decrescente de quanto entregam pelo quanto custam. A primeira é praticamente grátis e quase sempre fica sem ser aproveitada.

Mesmo nó, mesmos pesos, mesmo dinheiro. A única mudança é a precisão em que o cache é armazenado, e é essa a diferença entre uma máquina que atende uma equipe e uma máquina que atende um produto.

Vagas não são o mesmo que atendimento

Uma correção antes de dimensionar qualquer coisa com os números acima, e é essa correção que mantém esta página honesta. Tudo aqui conta quantas conversas a máquina consegue manter abertas. Isso não promete que todas estejam sendo respondidas rapidamente.

Memória e largura de banda são dois tetos diferentes. Em 8 × NVIDIA L4, Llama 3.3 70B tem espaço para 52 conversas simultâneas, enquanto um único usuário sozinho nessa máquina vê cerca de 17 tokens por segundo. Preencher todas as 52 vagas não dá a cada uma delas 17 tokens por segundo — a geração compartilha a mesma largura de banda de memória, então o total agregado sobe com o processamento em lote e a taxa por usuário cai. O teto de largura de banda é atingido bem antes do teto de memória.

A boa notícia é que os dois tetos se movem juntos: as máquinas com uma grande quantidade de memória sobrando depois dos pesos são, com poucas exceções, também as máquinas com mais largura de banda. Escolher pela margem raramente custa velocidade. Configurar o stack de inferência na máquina que você escolher é um guia à parte, e as flags que ele cobre são onde esses números se transformam em resultado real.

Escolhendo para o seu próprio número de usuários

Em ordem. Pare na primeira linha que descrever a sua carga.

1. Uma requisição de cada vez. Jobs em lote, uma ferramenta interna, um único desenvolvedor. Compre a máquina mais barata que comporte o modelo em uma única placa e pare de ler — toda coluna desta página responde a uma pergunta que você não tem.
2. Um punhado de pessoas, ocasionalmente. Uma ferramenta de equipe, um produto inicial. Calcule o seu pico de requisições simultâneas, não o número de usuários: cem usuários cadastrados raramente significam mais que um punhado de simultâneos. Depois, escolha a máquina mais barata cujo número de vagas fique confortavelmente acima desse pico.
3. Um produto real, com tráfego real. Ordene o catálogo por preço por vaga em vez de por preço, limite o seu contexto ao que você realmente atende, reduza o cache para 8 bits, e espere que a vencedora seja uma máquina que você não teria pré-selecionado pelo preço mensal.
4. Documentos longos ou conversas longas. Leia primeiro a tabela de contexto, depois a tabela de máquinas. A partir de 32k, o cache domina tão completamente que a escolha do modelo importa menos do que o design de atenção por trás dele.
5. Tráfego instável e imprevisível. Dimensione para o pico que você não pode falhar, porque o cache não pode ser emprestado quando se esgota — uma requisição que não tem onde colocar a sua conversa espera na fila. Se o pico for raro e enorme, uma API cobrada por token para o excedente sai mais barata do que uma máquina dimensionada para um pico que acontece duas vezes por mês.

Seja qual for a linha em que você parou, faça a subtração antes de mais nada: pegue a memória da máquina, remova os pesos do seu modelo na precisão em que você vai servir, e veja o que sobra. Essa sobra é o produto que você está alugando. O configurador roda a mesma aritmética em cada nó que operamos, e quanto custa um mês disso é calculado à parte.