Quanta VRAM serve davvero a un modello.

La formula

Non esiste qui una regola empirica che sopravviva al confronto con un secondo modello. L’intero calcolo è di tre righe, e vale la pena farle piuttosto che fidarsi di un moltiplicatore.

# 1. Weights
weights_gb   = parameters_in_billions × bytes_per_parameter

# 2. KV cache, per token — then multiplied by the context you serve
bytes_per_tok = 2 × layers × kv_heads × head_dim × cache_bytes
cache_gb      = bytes_per_tok × context_tokens × batch / 1024³

# 3. Everything else
total_gb      = (weights_gb + cache_gb) × 1.15

Il 2 c’è perché ci sono due tensori per token, K e V. bytes_per_parameter è 2 per BF16, 1 per FP8, 0.5 per 4-bit. cache_bytes è un numero separato, e questa separazione è la fonte più comune in assoluto di una risposta sbagliata — consulti qui sotto.

Pesi

La metà facile. È esattamente lineare nel numero di parametri, e l’unica decisione è la precisione.

La quantizzazione a 4 bit ha un costo in qualità, e quanto dipende dal modello molto più che dal metodo. È il compromesso giusto quando fa la differenza tra una scheda e quattro; è un compromesso scadente quando si è già ampiamente nei margini.

La cache KV

La metà difficile, quella che decide se una macchina è adeguata a 4k e inutilizzabile a 128k. Dipende dai livelli e dalle teste KV — non da quanto è grande il modello.

Legga prima l’ultima colonna, poi la prima. A un contesto di 4k la cache è un errore di arrotondamento trascurabile per ogni modello qui presente; a 128k è più grande dei pesi di un modello da 70B a 4 bit. DeepSeek V3 è l’eccezione perché la sua attenzione latente comprime la cache per progettazione — motivo per cui resta utilizzabile a contesti lunghi pur essendo il modello più grande dell’elenco.

Dove le stime sbagliano

Esempi svolti

Memoria totale richiesta, pesi più cache più overhead, a un contesto di 8k e una richiesta. È lo stesso calcolo che il configuratore esegue su ogni configurazione del catalogo.

L’ultima colonna è il nodo più economico del nostro catalogo che contiene il modello a 4 bit e contesto 8k, con la velocità di generazione a flusso singolo consentita dalla larghezza di banda della memoria. I valori di throughput sono deliberatamente conservativi e calibrati su misurazioni pubblicate — li consideri un minimo garantito, non una promessa.

Servire più di una richiesta

È qui che una macchina dimensionata per una demo diventa una macchina incapace di servire un prodotto. I pesi si pagano una volta sola; la cache si paga per sequenza concorrente.

Llama 3.3 70B a 4 bit sono 35 GB di pesi in ogni caso. Tutto ciò che in quella tabella supera i 35 GB è cache. Ecco perché «funzionava bene sul mio laptop» e «è crollato in produzione» sono lo stesso modello sulla stessa scheda.

Quale macchina ne consegue

Tre regole pratiche che derivano da tutto quanto sopra, nell’ordine in cui contano.

1. Una scheda sola batte più schede, ogni volta che è possibile. Niente sharding, niente sincronizzazione tra livelli, nessuna interconnessione a cui pensare. Se il suo modello, al suo contesto, ci sta su una scheda singola, acquisti quella scheda.
2. Dimensioni in base al contesto reale e alla concorrenza reale, non al massimo dichiarato dal modello. Il massimo dichiarato è una capacità, non un requisito.
3. Quando deve suddividere, preferisca NVLink. Suddividere su quattro schede PCIe funziona; suddividere su quattro schede NVLink funziona ed è sensibilmente più veloce. La prossima guida tratta esattamente di quando vale la pena pagare quella differenza.

Il configuratore esegue questo calcolo in tempo reale su tutte le 41 configurazioni: scelga un modello, una precisione e una lunghezza di contesto, e Le indicherà quali nodi lo contengono, quali lo contengono su una scheda singola, e quanto costa ciascuno al mese. Usa la formula di questa pagina, quindi se non è d’accordo con i nostri calcoli può ora dire esattamente dove.