Quale formato di quantizzazione eseguire davvero.

Inizi qui

Gran parte di questa pagina è calcolo, quindi ecco prima la conclusione. Quattro domande stabiliscono il formato, e vengono poste in quest’ordine perché ciascuna può chiudere da sola la discussione.

Tutto ciò che segue spiega perché queste quattro risposte sono tali, e fornisce i numeri per verificarle sul proprio modello anziché sul nostro. Se non ha ancora calcolato quanta memoria richiede il proprio modello, quel calcolo è una guida a parte e viene prima di tutto.

Tre formati, quattro nomi

Esistono solo tre formati numerici di uso comune per il serving, e differiscono per una sola cosa: quanti byte costa ciascun parametro. Tutto il resto — AWQ, GPTQ, GGUF, bitsandbytes — è un metodo per produrre uno di questi tre, non un quarto formato.

Legga le due colonne numeriche come una coppia. Sono uguali nelle prime due righe e non lo sono nella terza, e quest’unica asimmetria è responsabile della maggior parte delle sorprese più avanti in questa pagina.

I quattro nomi che si incontrano realmente in un repository di modelli corrispondono a quella tabella come segue.

Richiederli è questione di un solo flag. Sono le stesse opzioni che la guida a vLLM illustra in dettaglio; qui il punto è solo quanto sia breve la differenza tra loro.

# 1. Reference. The weights as published, nothing to prepare.
$ vllm serve meta-llama/Llama-3.3-70B-Instruct --dtype bfloat16

# 2. FP8, quantised while it loads. No second download, no calibration.
#    --kv-cache-dtype is the half everyone forgets: it is what
#    halves the CACHE as well as the weights.
$ vllm serve meta-llama/Llama-3.3-70B-Instruct \
    --quantization fp8 --kv-cache-dtype fp8

# 3. Four-bit AWQ. A DIFFERENT checkpoint, prepared by someone else.
$ vllm serve casperhansen/llama-3.3-70b-instruct-awq \
    --quantization awq_marlin

# 4. Four-bit GPTQ. Same idea, different repository and flag.
$ vllm serve TechxGenus/Llama-3.3-70B-Instruct-GPTQ \
    --quantization gptq_marlin

La metà che non si riduce

Quantizzare i pesi a 4 bit non quantizza la cache chiave/valore. AWQ e GPTQ comprimono i pesi e solo i pesi; la cache resta a 16 bit a meno di richiedere separatamente una cache FP8, e su un checkpoint a 4 bit quasi nessuno lo fa. È la terza colonna della tabella qui sopra, ed è il motivo per cui il calcolo qui sotto non va come ci si aspetterebbe.

La conseguenza si vede più facilmente su un solo modello. Di seguito Llama 3.3 70B, in 4 bit, a ogni lunghezza di contesto offerta dal configuratore — pesi contro cache.

La colonna dei pesi non si muove mai — è proprio questo il senso della quantizzazione. La colonna della cache cresce in modo lineare con il contesto finché, nell’ultima riga, non diventa più grande del modello a cui appartiene.

Se si spinge abbastanza oltre, il 4 bit smette del tutto di vincere. FP8 dimezza entrambe le metà; il 4 bit riduce a un quarto una metà e lascia l’altra invariata. Quindi per ogni modello esiste una lunghezza di contesto in cui i due si incrociano, e arriva prima quanto più piccolo è il modello — perché un modello piccolo ha pochi pesi da risparmiare e la stessa crescita di cache per token.

Cifre in gigabyte, per il più piccolo dei due formati, con il perdente indicato sotto. Legga da sinistra a destra e osservi il vantaggio della colonna del 4 bit ridursi man mano che il contesto cresce.

L’ultima riga mantiene il vantaggio ovunque, perché 70 miliardi di parametri rappresentano molto peso da risparmiare. La riga centrale finisce in parità perfetta: a 128k, Qwen 3 32B costa esattamente lo stesso nei due formati, e converrebbe scegliere FP8 per la qualità. E la prima riga si ribalta completamente at 128k, dove il 4 bit richiede più memoria di FP8 pur essendo anche il meno fedele dei due. Questa combinazione — più memoria e output peggiore — è l’errore di quantizzazione più comune che vediamo, ed è invisibile se si guarda solo alla dimensione del file dei pesi.

Cosa può fare realmente la sua scheda

FP8 è prima di tutto una caratteristica hardware, poi software. Una scheda i cui tensor core non lo supportano caricherà comunque un checkpoint FP8 — lo stack decomprime i pesi a 16 bit prima della moltiplicazione — ma si conserva solo il risparmio sul download e nulla della velocità, e una cache FP8 non è affatto disponibile. Il 4 bit è l’opposto: funziona ovunque, perché i pesi vengono comunque decompressi a 16 bit prima del calcolo.

Quella colonna descrive il silicio, il che non è esattamente la stessa domanda di dove FP8 sia una buona idea. La nota del catalogo accanto al formato cita Hopper and Blackwell, ed è un’affermazione sugli stack di serving più che sui tensor core: sono le generazioni su cui i kernel FP8 e le cache FP8 hanno avuto il maggior uso e le minori sorprese. Ada Lovelace lo eseguirà. Hopper e Blackwell sono dove metteremmo un deployment che ne dipende.

Un’altra cosa che vale la pena sapere prima di scegliere una scheda. Llama 3.3 70B in FP8 a 8k richiede 81.9 GB, e una scheda da 80 GB — tra cui la NVIDIA A100 PCIe — ne manca di 1.9 GB. Non abbastanza pochi da saltare all’occhio su un foglio di calcolo, ma abbastanza da far fallire tutto sulla macchina. La scheda che la contiene da sola è quella della fascia superiore, e il configuratore Le dirà quale sia prima che paghi, non dopo.

Il guadagno in velocità

Generare un token significa leggere una volta i pesi attivi dalla memoria. Meno byte per peso significa meno byte da leggere, il che significa più token al secondo — e su un singolo flusso non raggruppato in batch quella relazione è quasi perfettamente lineare, perché non c’è nient’altro ad attendere la scheda. È lo stesso limite di larghezza di banda della memoria per cui divide la guida al costo per token, ed è deliberatamente prudente. Qui sotto viene applicato a un modello abbastanza piccolo da girare su ogni macchina a scheda singola che noleggiamo, in modo che formato e scheda si possano leggere sulla stessa tabella.

Llama 3.1 8B su una scheda, un flusso alla volta. Ogni macchina elencata lo contiene in tutti e tre i formati, quindi le righe sono confrontabili sia in orizzontale sia in verticale — e il rapporto tra le tre colonne è lo stesso su ogni riga, perché è determinato dai byte per peso e da nient’altro.

Due avvertenze sulla lettura di quella tabella. La prima è che descrive una richiesta alla volta, e quasi nessuno serve una richiesta alla volta: con il batching continuo i pesi vengono letti una sola volta per l’intero batch, quindi il limite diventa il calcolo aritmetico piuttosto che la memoria, e il rapporto tra le colonne si riduce. La seconda è che la decompressione ha un costo. I pesi a 4 bit devono essere decompressi prima di essere moltiplicati, e su un modello piccolo con batch di dimensioni ridotte quella decompressione può assorbire una quota visibile di ciò che la lettura più leggera aveva fatto guadagnare. La direzione della tabella è affidabile; i multipli esatti non sono una promessa.

Quanto costa

Questa è la parte dell’argomento in cui diffidare dei numeri sicuri di sé, compresi i nostri. L’errore di quantizzazione dipende dal modello molto più che dal metodo, e i confronti pubblicati sono in disaccordo tra loro perché misurano modelli diversi su compiti diversi. Ciò che si può dire onestamente è la forma generale del fenomeno.

Il che porta all’unico consiglio di questa pagina che non è aritmetica: li provi entrambi. Sta noleggiando una macchina con accesso root e senza alcun contatore, quindi servire lo stesso modello due volte su due porte e far passare un centinaio di prompt propri attraverso ciascuno costa una serata e risolve la domanda per il suo carico di lavoro, non per quello di qualcun altro. Questa è una risposta sostanzialmente migliore di qualsiasi tabella, questa compresa — ed è il motivo per cui preferiamo mostrarle la formula piuttosto che un punteggio.

Quale macchina ne consegue

Il motivo per cui tutto questo conta è la ricevuta. Di seguito la macchina più economica nel nostro catalogo che contiene ogni modello per intero a 8k di contesto, in ciascuno dei tre formati — per intero significa su una sola scheda, senza suddividerlo, perché un modello suddiviso tra più schede porta in causa l’interconnessione, e quello è un’altra guida.

A 8k di contesto, sulle macchine che noleggiamo realmente. Dove una cella indica più schede, si tratta del nodo più piccolo in cui quella scheda è disponibile, non di un modello suddiviso: le schede più grandi si vendono a gruppi di quattro o di otto, quindi il modo più economico per evitare di suddividere un 70B a piena precisione è acquistarne quattro e usarne una. È esattamente il costo che la quantizzazione esiste per evitare.

Due abitudini fanno la differenza tra usare bene questa tabella e farsi cogliere in fallo da essa. Dimensioni in base al contesto che utilizzerà davvero, non al massimo del modello — la seconda tabella di questa pagina è ciò che succede a chi confonde le due cose. E verifichi il formato rispetto alla scheda prima di ordinare, non dopo: NVIDIA RTX A6000, NVIDIA A100 PCIe e NVIDIA A100 SXM4 non può fornirle i numeri FP8, qualunque flag passi. Il configuratore indica la memoria richiesta e se rientra in una scheda, per ogni nodo e ogni formato, prima che si paghi qualsiasi cosa. Se il dubbio è se noleggiare oppure pagare un’API in base ai token, quel punto di pareggio è calcolato a parte, e la quantizzazione lo sposta di molto a favore dell’hardware.