Quanto costa davvero un modello mixture-of-experts.

La versione breve

Un modello mixture-of-experts suddivide la parte feed-forward di ogni livello in tante piccole reti e instrada ogni token attraverso solo poche di esse. Il nome pubblicato registra entrambi i fatti: il numero totale di parametri, e il numero che è attivo per un singolo token. Deve tenere il primo interamente in memoria, e legge il secondo solo per ogni token. Questa singola frase è l’intera guida, e capirla al contrario è l’errore più costoso che vediamo fare alle persone prima di un ordine.

La conseguenza è un modello con una forma di costo strana: si noleggia come un gigante e gira come un modello di media taglia. Se questo sia un affare o una trappola dipende interamente da quale dei due numeri sia il suo collo di bottiglia.

L’aritmetica qui sotto è la stessa che esegue il configuratore, sullo stesso catalogo. Se non ha ancora capito quanta memoria le serve per un modello in generale, quella formula viene prima — questa pagina è ciò che cambia una volta che il modello è di tipo mixture-of-experts.

Leggere il nome

Sono in circolazione tre convenzioni di denominazione, e tutte codificano la stessa coppia di numeri, motivo per cui la confusione sopravvive. Una volta che sa leggerle, la domanda sul dimensionamento si risolve da sé.

L’ultima colonna è quella da ricordare. Un modello denso legge tutto ciò che immagazzina; un modello mixture-of-experts ne legge una porzione. Tutto ciò che è strano in questi modelli — nel bene e nel male — nasce da quell’unica riga.

La memoria che noleggia davvero

Ecco l’intera trappola in un’unica tabella. La colonna centrale è ciò di cui il modello ha bisogno sulla macchina; la colonna successiva è ciò per cui un lettore che avesse preso il numero attivo alla lettera avrebbe fatto il budget. L’ultima colonna è il conto di quella lettura sbagliata.

Legga l’ultima colonna come un errore di acquisto. Chi dimensiona basandosi solo sul conteggio dei parametri attivi finirebbe per cercare una scheda singola e ritrovarsi ad aver bisogno di un intero nodo — non una macchina leggermente più grande, ma una categoria di macchina diversa, a un prezzo diverso.

Che cosa comprano i parametri attivi

La generazione è limitata dalla larghezza di banda della memoria: ogni nuovo token richiede di rileggere i pesi che vi partecipano. Un modello mixture-of-experts legge solo la sua porzione attiva, quindi il limite massimo della sua velocità è fissato da un numero molto più piccolo di quanto la sua dimensione suggerisca. Questa parte della promessa è reale, ed è il motivo per cui questi modelli esistono.

La tabella qui sotto mette ogni modello sulla stessa macchina — 8 × NVIDIA A100 PCIe a $7,906 al mese, il nodo più economico del nostro catalogo che li contiene tutti insieme. Confrontare cifre di throughput prese su macchine diverse non confronta nulla.

Le due righe che vale la pena confrontare sono il più grande modello mixture-of-experts e il più grande modello denso, perché entrambi sono ripartiti sull’intero nodo. Il mixture-of-experts è il modello più grande con ampio margine e genera comunque più velocemente, poiché ne legge solo una frazione per token — questo è lo scambio che l’architettura esiste per fare. Legga diversamente le righe contrassegnate su una scheda: quei modelli occupano una sola scheda del nodo e lasciano libere le altre sette, il che è una macchina più economica in attesa di essere scelta, non una più lenta.

La seconda cosa che l’aritmetica nasconde è che un modello mixture-of-experts è più difficile da suddividere bene. Un modello denso ripartito tra le schede si sincronizza una volta per livello; un mixture-of-experts deve anche instradare i token verso qualunque scheda contenga l’esperto scelto, il che è uno schema di traffico diverso e meno prevedibile. Questo è uno dei pochi carichi di lavoro in cui l’interconnessione guadagna davvero il suo prezzo piuttosto che comparire soltanto sulla ricevuta.

La metà che diventa più economica

Finora sono state tutte cattive notizie per i modelli grandi. Ecco il compenso, ed è considerevole, cosa che quasi nessun confronto menziona: i modelli con più parametri in questa pagina hanno la cache chiave/valore più piccola per token. La cache è determinata dal design dell’attenzione — layer, key/value head, dimensione degli head — e non ha nulla a che fare con quanti esperti si trovano dietro l’attenzione.

Quelle colonne sono per richiesta concorrente. Moltiplichi per il numero di persone che usano l’endpoint contemporaneamente, e la classifica nell’ultima colonna decide la sua macchina molto più di quanto facciano i pesi.

La lettura pratica: i pesi sono un biglietto d’ingresso fisso, la cache è il costo corrente. Un modello mixture-of-experts fa pagare un biglietto d’ingresso enorme e poi un piccolo costo corrente per utente. Un modello denso di capacità comparabile funziona al contrario. Quale dei due sia più economico per lei viene deciso dalla concorrenza e dalla lunghezza del contesto, non dal conteggio dei parametri sulla scheda del modello.

Quali macchine li contengono

A 4 bit, con il contesto di riferimento, e prendendo il nodo più economico del nostro catalogo che contiene ciascun modello — che sia su una scheda sola o ripartito sul nodo. Questi sono i biglietti d’ingresso, non consigli; la sezione successiva spiega il perché.

Ognuno di questi è un nodo multi-scheda, e questo è il punto onesto di questa pagina: nulla nel nostro catalogo contiene uno di questi modelli su una scheda sola, per quanto piccolo possa farli sembrare il conteggio dei parametri attivi. Il catalogo completo contiene il resto delle configurazioni, e il configuratore eseguirà lo stesso controllo sul suo modello e contesto.

Il nodo più economico è quello sbagliato

Starci è una soglia, non un obiettivo. Una volta che un modello è ripartito su un nodo, il throughput dipende dalla larghezza di banda della memoria delle schede su cui è ripartito — e la larghezza di banda per dollaro varia di oltre un fattore due tra configurazioni che superano tutte la stessa soglia di memoria. Ecco DeepSeek V3 671B-A37B (MoE) su ogni nodo che lo contiene, ordinato per prezzo, con l’unica colonna che conta sulla destra.

La cella verde è il miglior rapporto qualità-prezzo della lista, e non è la riga più economica. Passare da $7,906 a $11,790 moltiplica la ricevuta per 1.5× e il throughput per 2.8× — paga di più e ogni token le costa di meno. Ordinare un catalogo per prezzo e prendere la prima macchina che ci sta è il modo in cui un budget di serving viene speso due volte.

Un avvertimento su quella colonna, e vale per ogni tabella prezzo-throughput che leggerà mai: usa la generazione a flusso singolo. Con il batching continuo l’aggregato sale di diverse volte su ogni riga, e non sale dello stesso multiplo su ciascuna — un nodo con più memoria libera dopo i pesi contiene più sequenze concorrenti. La classifica resta stabile; le cifre assolute sono prudenti. L’economia di quell’aggregato viene analizzata a parte.

Quando un modello mixture-of-experts è la risposta giusta

In ordine. Si fermi alla prima riga che la descrive.

1. Un modello denso che ci sta su una scheda sola fa il suo lavoro. Allora lo scelga, e non guardi indietro. Una sola scheda significa nessuno sharding, nessuna questione di interconnessione, nessun traffico di routing tra esperti, e una macchina che costa una frazione di un nodo. La maggior parte dei prodotti che crede di avere bisogno di un modello open all’avanguardia ha in realtà bisogno di un buon modello da 32B.
2. Le serve la qualità e il suo contesto è lungo. È qui che un modello mixture-of-experts è genuinamente lo strumento migliore disponibile: paga una sola volta per i pesi, e la cache ridotta fa sì che la macchina continui a servire conversazioni lunghe senza crollare. Dimensioni il nodo sui pesi, poi consulti la tabella della cache per il suo contesto reale.
3. Le serve la qualità e serve molte persone contemporaneamente. Stessa risposta, stesso motivo, e il vantaggio cresce con la concorrenza. Il costo fisso viene ammortizzato su ogni flusso, mentre il costo per flusso resta basso.
4. Le serve la qualità ma solo occasionalmente. Allora sta noleggiando un nodo di grandi dimensioni solo per tenerlo caldo poche ore a settimana, il che è il peggior uso possibile di una durata mensile. O raggruppi il lavoro in un’unica sessione, oppure usi un endpoint gestito per questo caso e tenga la sua macchina per il carico costante.
5. Vuole fare il fine-tuning di uno di questi. Problema diverso, macchina più grande: l’addestramento tocca ogni esperto e richiede lo stato dell’ottimizzatore per tutti quanti, quindi la memoria che rendeva scomoda l’inferenza diventa proibitiva. Il fine-tuning con adapter su un modello denso è la strada realistica per quasi chiunque.

Qualunque sia la riga su cui si è fermato, il primo numero da controllare è il conteggio dei parametri totali, nella precisione che intende servire. Tutto il resto di questa pagina — la velocità, la cache, il prezzo per token al secondo — diventa rilevante solo una volta che il modello è residente in memoria. Il configuratore esegue l’intero controllo su ogni nodo che noleggiamo, e applica alla stima del throughput la stessa correzione di routing usata nelle tabelle sopra. Se preferisce vedere prima l’intero calcolo della memoria, è una guida a sé stante; se non ha ancora deciso il formato numerico, quella scelta viene prima di questa.