Quanto costa un milione di token, in entrambi i casi.

La versione breve

Quasi ogni confronto tra queste due opzioni che leggerà si riduce a un singolo numero — «l’auto-hosting costa dieci volte meno», «l’API è più economica finché non si diventa enormi» — ed entrambi sono lo stesso errore, cioè citare un costo per token per una macchina che non viene fatturata per token. Una GPU noleggiata ha esattamente un prezzo e non si muove: che generi un miliardo di token questo mese o nessuno, la ricevuta è identica. Quindi la domanda onesta non è «quanto costa un token qui» ma «quanti token devo generare prima che il prezzo fisso batta il contatore».

Quel numero è una divisione, calcolata qui sotto sui nostri prezzi e sul nostro modello di throughput — lo stesso usato dal configuratore. Tutto ciò che segue riguarda i due fattori che determinano se si può raggiungere quel volume: il batching e le ore in cui si lascia la macchina inattiva.

L’aritmetica

Quattro righe. La terza è quella che vale la pena scrivere su una lavagna; la quarta è quella che si tende a saltare, e saltarla è ciò che trasforma una stima corretta in una sbagliata.

# 1. What the API charges. Linear in what you use, zero when you stop.
api_cost_per_month = output_tokens_per_month / 1e6 × api_price_per_million

# 2. What the machine charges. A constant. Tokens are free once you own the hours.
machine_cost_per_month = monthly_price

# 3. Set them equal. This is the break-even VOLUME, in output tokens per month.
break_even_tokens = monthly_price / api_price_per_million × 1e6

# 4. And the only question that matters: can the machine produce that many?
#    730 hours is the month we bill, so 2,628,000 seconds of it.
sustained_tokens_per_second = break_even_tokens / 2,628,000

La riga 4 è un tasso sostenuto, non un picco. Una macchina che raggiunge 600 token al secondo per un’ora al giorno e resta inattiva per le altre ventitré ha un tasso sostenuto di 25, e alla ricevuta non importa di quale dei due si stia parlando.

Quanto costa un flusso singolo

Si parta dal caso peggiore, perché è l’unico dato che si può indicare senza ipotesi: una richiesta alla volta, nessun batching, la macchina altrimenti inattiva. Ogni nodo qui sotto esegue Llama 3.3 70B a 4-bit (AWQ, GPTQ), e il throughput è una nostra stima prudente — quella limitata dalla larghezza di banda della memoria piuttosto che misurata in una giornata favorevole.

Consideri questo un limite massimo, mai un preventivo. È quanto costa un token se si fa rispondere alla macchina una domanda alla volta e la si lascia inattiva per il resto del mese — il modo meno efficiente possibile di possedere una GPU. Ogni stack di serving reale fa di meglio, e le prossime due sezioni spiegano di quanto.

Il punto di pareggio, per livello

Si prenda la riga più economica qui sopra — 2 × NVIDIA RTX 5090 a $692 al mese — e si chieda quanto lavoro deve svolgere per battere ciascun livello del mercato delle API.

L’ultima colonna è l’intero articolo. Dove indica «già più economico», un flusso non raggruppato in batch su una macchina $692 batte l’API e non c’è nulla da valutare. Dove mostra un multiplo, la macchina può comunque vincere — ma solo se viene effettivamente alimentata, il che è l’argomento della prossima sezione.

Il batching è tutto

Generare un token richiede di leggere una volta i pesi attivi dalla memoria. Generare cento token per cento richieste diverse richiede di leggerli anch’essi una sola volta — gli stessi pesi servono ogni richiesta del batch. Ecco perché uno stack di serving con batching continuo produce un numero di token al secondo molte volte superiore a quello di un flusso singolo sullo stesso hardware, ed è per questo che il rapporto nell’ultima colonna di quella tabella è raggiungibile.

La conseguenza pratica: si consideri il multiplo nella tabella del punto di pareggio come un obiettivo di throughput, non un numero di utenti. Un obiettivo pari a dieci volte il flusso singolo non significa «dieci utenti»; significa che il server deve mediare un tasso dieci volte superiore a quello non raggruppato in batch, il che di norma richiede più di dieci richieste simultanee e meno di cento. Lo si misuri sulla macchina prima di impegnarsi su un numero — è un solo benchmark, e chiude la discussione.

Le ore di inattività che si pagano comunque

Tutto quanto sopra presupponeva che il carico fosse distribuito uniformemente durante il mese. Non lo è mai. Una macchina noleggiata al mese si paga anche la domenica alle 04:00, e i token che non ha generato in quel momento non si riportano in avanti. Divida la settimana in cui serve davvero traffico per la settimana che paga effettivamente:

La terza riga è dove vivono la maggior parte degli strumenti interni, e moltiplica silenziosamente il punto di pareggio per più di quattro. È il motivo più comune per cui una stima di self-hosting risulta sbagliata — non il prezzo del token, non l’hardware, ma l’ipotesi che una settimana lavorativa sia una settimana intera.

Perché il prompt è quasi gratuito

Un’asimmetria gioca fortemente a favore del possedere la macchina, e nessun confronto sul prezzo per token la mostra. Un’API Le fa pagare i token in ingresso — di norma da un quarto a un terzo del prezzo dei token in uscita, per token. Sulla propria GPU, i token in ingresso vengono elaborati nella fase di prefill, che gestisce l’intero prompt in parallelo ed è limitata dal calcolo aritmetico piuttosto che dalla larghezza di banda della memoria. Il prefill raggiunge un numero di token al secondo di un ordine di grandezza superiore rispetto alla generazione.

Cosa non considera il calcolo

Quattro cose che non compaiono mai in una tabella di costo per token, e che decidono la questione tanto spesso quanto i numeri.

Da che parte ci si trova

In ordine, fermandosi alla prima che La descrive.

1. Ha bisogno della qualità di un modello proprietario di frontiera. Allora questo articolo non si applica: nessuno le noleggia quei pesi. Usi l’API, e torni a valutare quando un modello open colma il divario sul suo compito specifico.
2. Il suo volume è basso, o ancora non lo conosce. Usi l’API. È il modo più economico per scoprire come appare davvero il suo traffico, e il contatore è uno strumento di misura perfettamente valido.
3. Il suo traffico è irregolare e tollera una coda. Usi l’API, oppure lo divida: la sua macchina per il carico di base costante, un endpoint ospitato per i picchi. Nulla obbliga la decisione a essere tutta in un senso.
4. Sta sostenendo un volume reale e batchato contro un modello open-weight. Questo è il caso in cui l’hardware vince, e vince alla grande — il prezzo fisso smette di muoversi mentre il contatore continua a girare. Verifichi il suo numero nella tabella qui sopra prima di crederci.
5. I prompt sono sensibili, il modello non deve cambiare, o il conto deve essere prevedibile in anticipo. Allora l’aritmetica è una formalità. Noleggi la macchina che ospita il suo modello, e la paghi senza dire a nessuno chi è.

Qualunque sia la riga su cui ci si è fermati, il numero da controllare è quello nella tabella del punto di pareggio per il proprio modello e il proprio volume. Il configuratore indica, per ogni nodo che noleggiamo, se il modello entra su una singola scheda, se va suddiviso, e qual è la stima del throughput — ovvero tutti i dati che questo calcolo richiede. Se non ha ancora deciso se noleggiare al mese o pagare a consumo orario, si tratta di un punto di pareggio diverso, anch’esso già calcolato.