Scegliere una scheda per i modelli di immagini e video.

Cosa serve a ciascun modello

Si parta dalla differenza che decide tutto il resto. Un modello linguistico porta con sé una cache key/value che cresce a ogni token di contesto, motivo per cui lo stesso modello 70B può richiedere 40 GB o 140 GB a seconda di quanta conversazione si conserva. Un modello di diffusione non ha alcuna cache. Legge un prompt, esegue il denoising di un latente per un numero fisso di passi, e dimentica. I pesi sono quindi quasi tutta la questione della memoria, e la risposta non cambia quando i suoi prompt si allungano.

Pesi più un margine di runtime del 15% per attivazioni, contesto CUDA e frammentazione dell’allocatore — lo stesso margine applicato dal configuratore, così può verificare questi dati rispetto ad esso. Non c’è una colonna del contesto perché non c’è nulla da mettervi.

Due righe di quella tabella meritano di essere osservate con attenzione, perché sono esattamente dove un acquisto va storto.

Cosa contiene ciascuna scheda

Ogni macchina a scheda singola che noleggiamo, con la precisione migliore che ciascuna sostiene per i due modelli più impegnativi. La colonna della banda passante serve per il capitolo successivo; la legga dopo aver letto quello.

Il verde rappresenta i pesi di riferimento, l’ambra quelli quantizzati. Quantizzare un modello di diffusione non è il pasto gratis che è per un modello linguistico: lo stesso prompt e lo stesso seed danno un’immagine visibilmente diversa, di solito leggermente più morbida. È un buon compromesso a FP8 e una valutazione caso per caso a 4 bit.

Legga la colonna dei prezzi dal basso e il quadro è netto. NVIDIA L4, a $125 al mese, è la macchina più economica che noleggiamo in grado di contenere FLUX.1 dev in assoluto — in FP8. La più economica che lo contiene in pieno BF16 è NVIDIA RTX A6000, a $286. Video a piena precisione parte sulla stessa scheda.

La colonna che tutti leggono male

Ecco la parte che distingue il lavoro sulle immagini da tutto il resto di questo sito, ed è il motivo per cui la scheda più economica di quella tabella è una trappola.

Quando un modello linguistico genera un token, legge una volta dalla memoria ogni peso attivo, esegue una piccola quantità di calcoli con ciascuno e scrive un singolo token. Lo rifà per il token successivo, e per quello dopo ancora. La scheda passa la vita ad aspettare il bus di memoria, motivo per cui le nostre stime di throughput per i modelli linguistici sono essenzialmente banda passante divisa per i pesi letti, e motivo per cui la colonna della banda passante è quella che conta su una guida al serving.

Un passo di diffusione non funziona così. Gli stessi pesi vengono applicati a un tensore latente da venti a cinquanta volte, e ogni passaggio compie una grande quantità di calcoli per ogni byte prelevato. I pesi restano residenti in memoria; il lavoro consiste in convoluzioni e attenzione su un tensore piccolo. Questo ribalta il vincolo: un modello immagine è limitato dal throughput dei tensori, non dal bus di memoria. Ne conseguono tre cose, e tutte e tre costano denaro se le si sbaglia.

La banda passante per dollaro è un indicatore — approssimativo — della classe di scheda che sta considerando, e nel nostro catalogo colloca NVIDIA RTX 5090 e NVIDIA RTX 4090 al primo e al secondo posto con ampio margine. Non è una coincidenza, né un affare a cui la stiamo convincendo: sono i componenti progettati esattamente per questo tipo di calcolo, e si trovano vicino al fondo del nostro listino prezzi perché il mercato li valuta in base al gaming, non ai cluster di addestramento.

Risoluzione, batch e video

I pesi sono fissi. Ciò che cambia è il working set, e cambia con i pixel, non con i parametri. Il latente in sé è trascurabile — sono le attivazioni che attraversano la rete a quella risoluzione a riempire la scheda.

latent_elements = (H / 8) * (W / 8) * C * batch
# C = 4 latent channels on SDXL, 16 on SD 3.5 and FLUX.

# 1024x1024, batch 1, SDXL:
128 * 128 * 4 * 1     = 65,536 elements   = 128 KB in FP16

# 2048x2048, batch 4, SDXL:
256 * 256 * 4 * 4     = 1,048,576         = 2 MB in FP16

# The latent is never the problem. The activations that pass through the
# network at that resolution are, and they scale by the SAME factor:
# doubling the edge quadruples the pixel count, and roughly quadruples
# the working set. Batch multiplies it linearly on top.

Tre conseguenze pratiche, nell’ordine in cui le incontrerà:

1. Il picco è di solito il decode del VAE, non il ciclo di campionamento. Il decoding espande il latente fino alla risoluzione piena in un solo passaggio, e proprio quel momento è ciò che scatena l’errore di memoria esaurita alla fine di un job che fino a un minuto prima girava senza problemi. Il tiled decoding lo risolve e costa un po’ di tempo.
2. Il batching è il modo per sfruttare una scheda grande. Se il modello lascia 20 GB liberi, generare quattro immagini insieme è un uso molto migliore di quello spazio rispetto a una sola immagine con margine — i pesi vengono letti una sola volta per l’intero batch, l’unico punto in cui una pipeline di diffusione si comporta davvero come un job vincolato dalla banda.
3. Il video aggiunge una dimensione, non una percentuale. Wan 2.1 video 14B genera insieme un blocco di fotogrammi, quindi i fotogrammi moltiplicano lo stesso working set che altezza e larghezza già moltiplicano. È per questo che un modello video da 14 miliardi di parametri richiede una scheda molto più grande di un modello immagine da 12 miliardi di parametri, ed è per questo che la tabella dei pesi qui sopra lo sottostima più di qualsiasi altra riga.

Avviare ComfyUI

ComfyUI è una delle immagini che possiamo scrivere sulla macchina prima della consegna, il che rende questa sezione facoltativa. Se preferisce crearla da sé, è un container e un tunnel.

$ ssh root@203.0.113.42
$ nvidia-smi --query-gpu=name,memory.total --format=csv

# Checkpoints, LoRAs, ControlNets and VAEs on the fast local NVMe.
# This directory is the reason you are renting by the month.
$ mkdir -p /scratch/comfy/models
$ df -h /scratch

$ docker run -d --name comfy --restart unless-stopped \
    --gpus all --ipc=host \
    -v /scratch/comfy:/data \
    -p 127.0.0.1:8188:8188 \
    your-comfyui-image --listen 0.0.0.0 --port 8188

# From YOUR machine, not the server: a tunnel, then a local browser tab.
$ ssh -N -L 8188:127.0.0.1:8188 root@203.0.113.42
# http://127.0.0.1:8188

Cosa offre un mese

Il motivo per cui il lavoro sulle immagini si adatta bene a una macchina mensile non è il prezzo della GPU. È la libreria. Un’installazione seria di ComfyUI corrisponde a centinaia di gigabyte di checkpoint, LoRA, ControlNet, upscaler e VAE che ha curato personalmente e non vuole scaricare di nuovo.

Questa è la colonna da confrontare, ed è quella che le piattaforme a consumo orario omettono dal prezzo in evidenza. Lì il disco è una voce separata, con un prezzo per gigabyte al mese, e continua a fatturare anche quando l’istanza è ferma — oppure lo si elimina, per poi riscaricare centinaia di gigabyte la volta successiva che ci si rimette al lavoro.

È la stessa trappola descritta dal punto di pareggio orario, nella forma che assume per il lavoro sulle immagini. La fatturazione al secondo sembra sicura perché si può fermare l’istanza, e nessuno la ferma, perché fermarla significa perdere la libreria. La domanda onesta non è «quante ore genererò» ma «per quante ore questa macchina dovrà esistere» — e per chiunque abbia una raccolta di modelli curata la risposta è: tutte. Il pagamento è un unico bonifico in cripto, non c’è alcun costo di attivazione, e non le abbiamo chiesto chi fosse: i prompt, le LoRA che ha addestrato e il lavoro per i clienti non ancora consegnato restano su una macchina su cui solo lei ha accesso root.

Quando non conviene noleggiare una scheda

Preferiamo che lei non noleggi una di queste macchine e se ne penta, quindi ecco i casi in cui la risposta è no.

In ogni altro caso — una libreria che ha costruito, una pipeline che continua a modificare, job batch che girano tutta la notte, o lavoro che semplicemente non deve lasciare il suo disco — una scheda dedicata al mese è la soluzione più economica e più tranquilla. Il configuratore le dirà, per ogni nodo del catalogo, se il modello che ha in mente ci sta su una scheda prima che paghi qualcosa.