Guida Costo · 9 min di lettura

# Quanto costa un milione di token, in entrambi i casi.

Un’API le addebita per token e nulla mentre è inattiva. Una macchina le addebita al mese e nulla per token. Quale sia più economica è una semplice divisione — e la risposta dipende molto più da quanto tiene occupata la macchina che dal prezzo dell’una o dell’altra.

La risposta breve

- **Il punto di pareggio è un volume:** Non è un prezzo. **$692 al mese** Le dà tutti i token che la macchina è realmente in grado di produrre — la domanda è se ha così tanto lavoro.
- **Rispetto a un’API di frontiera:** Un singolo flusso non batchato sul nostro nodo più economico costa già **$6.42** per milione. È meno dei $15.00 addebitati da un modello proprietario di punta, prima ancora di applicare il batching.
- **Rispetto agli stessi pesi open:** Serve un throughput di circa **7.1×** quello a flusso singolo per battere $0.90 al milione. È esattamente a questo che serve il batching continuo, ed è la norma.
- **Dove l’API continua a vincere:** Traffico a picchi, volumi bassi e qualsiasi modello i cui pesi nessuno Le venderà.

## La versione breve

Quasi ogni confronto tra queste due opzioni che leggerà si riduce a un singolo numero — «l’auto-hosting costa dieci volte meno», «l’API è più economica finché non si diventa enormi» — ed entrambi sono lo stesso errore, cioè citare un costo per token per una macchina che non viene fatturata per token. Una GPU noleggiata ha esattamente un prezzo e non si muove: che generi un miliardo di token questo mese o nessuno, la ricevuta è identica. Quindi la domanda onesta non è «quanto costa un token qui» ma *«quanti token devo generare prima che il prezzo fisso batta il contatore»*.

Quel numero è una divisione, calcolata qui sotto sui nostri prezzi e sul nostro modello di throughput — lo stesso usato dal [configuratore](https://gpuserver.io/it/configure). Tutto ciò che segue riguarda i due fattori che determinano se si può raggiungere quel volume: il batching e le ore in cui si lascia la macchina inattiva.

## L’aritmetica

Quattro righe. La terza è quella che vale la pena scrivere su una lavagna; la quarta è quella che si tende a saltare, e saltarla è ciò che trasforma una stima corretta in una sbagliata.

Volume di pareggio, e cosa richiede alla macchina

```
# 1. What the API charges. Linear in what you use, zero when you stop.
api_cost_per_month = output_tokens_per_month / 1e6 × api_price_per_million

# 2. What the machine charges. A constant. Tokens are free once you own the hours.
machine_cost_per_month = monthly_price

# 3. Set them equal. This is the break-even VOLUME, in output tokens per month.
break_even_tokens = monthly_price / api_price_per_million × 1e6

# 4. And the only question that matters: can the machine produce that many?
#    730 hours is the month we bill, so 2,628,000 seconds of it.
sustained_tokens_per_second = break_even_tokens / 2,628,000
```

La riga 4 è un tasso *sostenuto*, non un picco. Una macchina che raggiunge 600 token al secondo per un’ora al giorno e resta inattiva per le altre ventitré ha un tasso sostenuto di 25, e alla ricevuta non importa di quale dei due si stia parlando.

## Quanto costa un flusso singolo

Si parta dal caso peggiore, perché è l’unico dato che si può indicare senza ipotesi: una richiesta alla volta, nessun batching, la macchina altrimenti inattiva. Ogni nodo qui sotto esegue Llama 3.3 70B a 4-bit (AWQ, GPTQ), e il throughput è una nostra stima prudente — quella [limitata dalla larghezza di banda della memoria](https://gpuserver.io/it/guides/vram-sizing) piuttosto che misurata in una giornata favorevole.

**Costo per milione di token in output a flusso singolo non batchato, per nodo**

| Nodo | Come esegue il modello | Al mese | Un flusso | Costo per milione |
|---|---|---|---|---|
| [2 × NVIDIA RTX 5090](https://gpuserver.io/it/gpu/rtx-5090) 64 GB totali · PCIe 5.0 ×16 | Suddiviso su tutte le 2 schede 43.1 GB necessari, 32 GB per scheda | $692 | 41 tok/s | $6.42 per 1M in uscita |
| [2 × NVIDIA RTX 4090](https://gpuserver.io/it/gpu/rtx-4090) 48 GB totali · PCIe 5.0 ×16 | Suddiviso su tutte le 2 schede 43.1 GB necessari, 24 GB per scheda | $416 | 23 tok/s | $6.88 per 1M in uscita |
| [4 × NVIDIA RTX 5090](https://gpuserver.io/it/gpu/rtx-5090) 128 GB totali · PCIe 5.0 ×16 | Suddiviso su tutte le 4 schede 43.1 GB necessari, 32 GB per scheda | $1,345 | 68 tok/s | $7.53 per 1M in uscita |
| [4 × NVIDIA RTX 4090](https://gpuserver.io/it/gpu/rtx-4090) 96 GB totali · PCIe 5.0 ×16 | Suddiviso su tutte le 4 schede 43.1 GB necessari, 24 GB per scheda | $814 | 38 tok/s | $8.15 per 1M in uscita |
| [2 × NVIDIA A100 PCIe](https://gpuserver.io/it/gpu/a100-40gb) 80 GB totali · PCIe 5.0 ×16 | Suddiviso su tutte le 2 schede 43.1 GB necessari, 40 GB per scheda | $802 | 36 tok/s | $8.48 per 1M in uscita |
| [8 × NVIDIA RTX 5090](https://gpuserver.io/it/gpu/rtx-5090) 256 GB totali · PCIe 5.0 ×16 | Suddiviso su tutte le 8 schede 43.1 GB necessari, 32 GB per scheda | $2,584 | 100 tok/s | $9.83 per 1M in uscita |

Consideri questo un limite massimo, mai un preventivo. È quanto costa un token se si fa rispondere alla macchina una domanda alla volta e la si lascia inattiva per il resto del mese — il modo meno efficiente possibile di possedere una GPU. Ogni stack di serving reale fa di meglio, e le prossime due sezioni spiegano di quanto.

## Il punto di pareggio, per livello

Si prenda la riga più economica qui sopra — [2 × NVIDIA RTX 5090](https://gpuserver.io/it/gpu/rtx-5090) a $692 al mese — e si chieda quanto lavoro deve svolgere per battere ciascun livello del mercato delle API.

**Volume mensile di pareggio e il throughput sostenuto che richiede**

| Quanto si pagherebbe altrimenti | Per 1M in uscita | Volume di pareggio | Tasso sostenuto | Rispetto a un flusso singolo |
|---|---|---|---|---|
| Modello proprietario di frontiera Il miglior modello chiuso del momento. Nessuno Le noleggia i suoi pesi. | $15.00 | 46Mtoken al mese | 18 tok/s24 ore su 24 | Già più economico |
| Modello proprietario di fascia media Il livello standard su cui la maggior parte dei prodotti viene effettivamente rilasciata. | $4.00 | 173Mtoken al mese | 66 tok/s24 ore su 24 | 1.6× del flusso singolo |
| 70B a pesi aperti, provider specializzato Stessi pesi Gli stessi pesi che eseguirebbe Lei, serviti da qualcun altro. | $0.90 | 769Mtoken al mese | 293 tok/s24 ore su 24 | 7.1× del flusso singolo |
| 70B a pesi aperti, serverless più economico Stessi pesi Il fondo del mercato, di solito con una coda condivisa alle spalle. | $0.40 | 1,730Mtoken al mese | 658 tok/s24 ore su 24 | 16.1× del flusso singolo |

L’ultima colonna è l’intero articolo. Dove indica «già più economico», un flusso non raggruppato in batch su una macchina $692 batte l’API e non c’è nulla da valutare. Dove mostra un multiplo, la macchina può comunque vincere — ma solo se viene effettivamente alimentata, il che è l’argomento della prossima sezione.

**Le due righe proprietarie non sono un confronto alla pari, e sono comunque lo scontro in cui si trova davvero la maggior parte delle persone.** Non si possono noleggiare i pesi di un modello di frontiera, quindi «farne il self-hosting» non è un’opzione — il vero confronto è *tra un modello chiuso a $15.00 e uno aperto a $6.42 che si possiede interamente*, e se quello aperto sia abbastanza buono per il proprio compito. È una questione di qualità, non di costo, ed è quella su cui vale la pena spendere un pomeriggio prima che tutto questo calcolo abbia importanza.

## Il batching è tutto

Generare un token richiede di leggere una volta i pesi attivi dalla memoria. Generare cento token per cento richieste *diverse* richiede di leggerli anch’essi una sola volta — gli stessi pesi servono ogni richiesta del batch. Ecco perché uno stack di serving con batching continuo produce un numero di token al secondo molte volte superiore a quello di un flusso singolo sullo stesso hardware, ed è per questo che il rapporto nell’ultima colonna di quella tabella è raggiungibile.

### Cosa offre il batching

Il throughput aggregato sale rapidamente con la concorrenza mentre i pesi restano il collo di bottiglia, poi si appiattisce quando la cache KV riempie la scheda e l’aritmetica stessa diventa il limite.

- Multipli elevati rispetto a un flusso singolo sono normali, non ottimistici
- Non Le costa nulla, se non la memoria occupata dalle cache aggiuntive
- [vLLM lo fa per impostazione predefinita](https://gpuserver.io/it/guides/serve-llama-70b) — non lo configura, lo alimenta

### Quanto costa

Il throughput non cresce in modo lineare con la concorrenza, e la latenza per richiesta peggiora quando il batch cresce. Sessantaquattro flussi non danno sessantaquattro volte i token.

- Ogni flusso vede token più lenti di quanto vedrebbe da solo
- La cache KV è la prima a esaurirsi — [la dimensioni con attenzione](https://gpuserver.io/it/guides/vram-sizing)
- Uno slot batch inattivo non genera nulla: la concorrenza che non ha non vale nulla

La conseguenza pratica: si consideri il multiplo nella tabella del punto di pareggio come un *obiettivo di throughput*, non un numero di utenti. Un obiettivo pari a dieci volte il flusso singolo non significa «dieci utenti»; significa che il server deve mediare un tasso dieci volte superiore a quello non raggruppato in batch, il che di norma richiede più di dieci richieste simultanee e meno di cento. Lo si misuri sulla macchina prima di impegnarsi su un numero — è un solo benchmark, e chiude la discussione.

## Le ore di inattività che si pagano comunque

Tutto quanto sopra presupponeva che il carico fosse distribuito uniformemente durante il mese. Non lo è mai. Una macchina noleggiata al mese si paga anche la domenica alle 04:00, e i token che non ha generato in quel momento non si riportano in avanti. Divida la settimana in cui serve davvero traffico per la settimana che paga effettivamente:

**Come il ciclo di utilizzo moltiplica il throughput necessario nelle ore di attività**

| Quando arriva il carico | Ore alla settimana | Tasso di picco necessario | Costo effettivo per milione |
|---|---|---|---|
| Continuously, 24/7 Un endpoint che risponde ogni volta che viene chiamato | 168 h | Il tasso sostenuto | $6.42 a flusso singolo |
| Dodici ore al giorno Un prodotto con un solo emisfero di utenti | 84 h | 2.0× mentre è occupata | $12.84 a flusso singolo |
| Orario lavorativo, giorni feriali Uno strumento interno usato dal suo team | 40 h | 4.2× mentre è occupata | $26.97 a flusso singolo |
| Due ore al giorno Un job batch, o una demo che viene aperta ogni tanto | 14 h | 12.0× mentre è occupata | $77.07 a flusso singolo |

La terza riga è dove vivono la maggior parte degli strumenti interni, e moltiplica silenziosamente il punto di pareggio per più di quattro. È il motivo più comune per cui una stima di self-hosting risulta sbagliata — non il prezzo del token, non l’hardware, ma l’ipotesi che una settimana lavorativa sia una settimana intera.

## Perché il prompt è quasi gratuito

Un’asimmetria gioca fortemente a favore del possedere la macchina, e nessun confronto sul prezzo per token la mostra. Un’API Le fa pagare i token in ingresso — di norma da un quarto a un terzo del prezzo dei token in uscita, per token. Sulla propria GPU, i token in ingresso vengono elaborati nella fase di prefill, che gestisce l’intero prompt in parallelo ed è limitata dal calcolo aritmetico piuttosto che dalla larghezza di banda della memoria. Il prefill raggiunge un numero di token al secondo di un ordine di grandezza superiore rispetto alla generazione.

**Quanto più contesto si invia, tanto meglio appare il self-hosting.** Una richiesta retrieval-augmented con un prompt da 20.000 token e una risposta da 300 token è dominata dall’input su una ricevuta API e dall’output sulla sua macchina. Due carichi di lavoro con conti mensili identici presso un provider possono essere due a uno presso l’altro, a favore dell’hardware. Se i suoi prompt sono lunghi — RAG, estrazione di documenti, riassunto a contesto lungo — calcoli l’aritmetica sul *suo* rapporto input-output, non solo sull’output.

## Cosa non considera il calcolo

Quattro cose che non compaiono mai in una tabella di costo per token, e che decidono la questione tanto spesso quanto i numeri.

**Ogni richiesta va da qualche parte.** Un’API vede i suoi prompt, e i suoi prompt sono il suo prodotto, i documenti dei suoi clienti, o il suo codice. Su una macchina che noleggia, i pesi e il traffico restano sulla macchina — e [non le abbiamo mai chiesto chi è](https://gpuserver.io/it/no-kyc-gpu-server), fin dall’inizio. Non è una voce di costo, ma per alcuni carichi di lavoro è l’intera decisione.

**I modelli vengono deprecati; il suo no.** Un modello ospitato può cambiare, ricevere una nuova versione con un comportamento diverso, o essere ritirato secondo un calendario che non è il suo. Un set di pesi sul suo NVMe si comporta allo stesso modo tra un anno, il che conta molto se ha condotto valutazioni su di esso.

**Un prezzo fisso è un tipo di numero diverso.** La fatturazione a consumo significa che un bug, un ciclo di retry o un picco di traffico si trasforma in una ricevuta di cui viene a conoscenza solo dopo. Una durata mensile non può sorprenderla: il caso peggiore è che la macchina sia lenta, non che sia costosa.

**Qualcuno deve gestirlo.** Il costo onesto dell’auto-hosting include un pomeriggio di configurazione e, ogni tanto, una serata in cui un driver o un container si comporta male. La nostra [documentazione](https://gpuserver.io/it/docs) esiste per far sì che sia un pomeriggio e non una settimana, ma non è zero, e far finta del contrario è il modo in cui questi confronti perdono credibilità.

## Da che parte ci si trova

In ordine, fermandosi alla prima che La descrive.

1. **Ha bisogno della qualità di un modello proprietario di frontiera.** Allora questo articolo non si applica: nessuno le noleggia quei pesi. Usi l’API, e torni a valutare quando un modello open colma il divario sul suo compito specifico.
2. **Il suo volume è basso, o ancora non lo conosce.** Usi l’API. È il modo più economico per scoprire come appare davvero il suo traffico, e il contatore è uno strumento di misura perfettamente valido.
3. **Il suo traffico è irregolare e tollera una coda.** Usi l’API, oppure lo divida: la sua macchina per il carico di base costante, un endpoint ospitato per i picchi. Nulla obbliga la decisione a essere tutta in un senso.
4. **Sta sostenendo un volume reale e batchato contro un modello open-weight.** Questo è il caso in cui l’hardware vince, e vince alla grande — il prezzo fisso smette di muoversi mentre il contatore continua a girare. Verifichi il suo numero nella tabella qui sopra prima di crederci.
5. **I prompt sono sensibili, il modello non deve cambiare, o il conto deve essere prevedibile in anticipo.** Allora l’aritmetica è una formalità. Noleggi la macchina che ospita il suo modello, e la paghi [senza dire a nessuno chi è](https://gpuserver.io/it/guides/pay-in-crypto).

Qualunque sia la riga su cui ci si è fermati, il numero da controllare è quello nella tabella del punto di pareggio per *il proprio* modello e *il proprio* volume. Il [configuratore](https://gpuserver.io/it/configure) indica, per ogni nodo che noleggiamo, se il modello entra su una singola scheda, se va suddiviso, e qual è la stima del throughput — ovvero tutti i dati che questo calcolo richiede. Se non ha ancora deciso se noleggiare al mese o pagare a consumo orario, si tratta di [un punto di pareggio diverso](https://gpuserver.io/it/guides/monthly-vs-hourly), anch’esso già calcolato.

## Calcoli il proprio punto di pareggio su una macchina reale.

Il configuratore Le fornisce la stima del throughput e il prezzo mensile per ogni nodo del catalogo — i due numeri che questa guida divide.

[Apri il configuratore](https://gpuserver.io/it/configure) [Leggi le guide](https://gpuserver.io/it/guides)

## Altre guide

- [Pratica · 11 min Servire Llama 3.3 70B su un nodo Da una macchina consegnata a un endpoint compatibile con OpenAI, con i flag che contano e i due che dimezzano in silenzio il throughput. Leggi la guida](https://gpuserver.io/it/guides/serve-llama-70b)
- [Pratica · 10 min Fine-tuning di un modello da 70B su una scheda QLoRA su una sola GPU da 48 GB: cosa ci sta, quanto costa al mese, e perché il fine-tuning completo richiede una macchina di un altro livello. Leggi la guida](https://gpuserver.io/it/guides/lora-finetune)
- [Pagamento · 8 min Pagare un server in cripto Cosa succede realmente tra il clic su paga e l’ottenimento del root, quale moneta scegliere, e i quattro errori che fanno perdere denaro al primo pagamento. Leggi la guida](https://gpuserver.io/it/guides/pay-in-crypto)

---

Fonte: https://gpuserver.io/it/guides/api-vs-self-hosting/. Questo file è generato dagli stessi dati del sito web; se una cifra qui differisce da una pagina, la pagina è quella autorevole e questo file è obsoleto — la fonte canonica è https://gpuserver.io/.