Die richtige Karte für Bild- und Videomodelle wählen.

Was jedes Modell braucht

Beginnen wir mit dem Unterschied, der alles Weitere entscheidet. Ein Sprachmodell führt einen Key/Value-Cache, der mit jedem Kontext-Token wächst, weshalb dasselbe 70B-Modell je nach aufbewahrtem Gesprächsverlauf 40 GB oder 140 GB verlangen kann. Ein Diffusionsmodell hat überhaupt keinen Cache. Es liest einen Prompt, entrauscht ein Latent über eine feste Anzahl von Schritten und vergisst. Die Gewichte sind damit fast die ganze Speicherfrage, und die Antwort ändert sich nicht, wenn Ihre Prompts länger werden.

Gewichte plus 15 % Laufzeit-Marge für Aktivierungen, den CUDA-Kontext und Allocator-Fragmentierung — dieselbe Marge, die auch der Konfigurator ansetzt, sodass Sie hier gegenprüfen können. Es gibt keine Kontextspalte, weil es nichts gibt, was hineingehört.

Zwei Zeilen in dieser Tabelle lohnen einen genaueren Blick, denn genau dort geht ein Kauf schief.

Was jede Karte fasst

Jede Einzelkarten-Maschine, die wir vermieten, mit der besten Präzision, die sie jeweils für die beiden anspruchsvollen Modelle fasst. Die Bandbreitenspalte ist für das nächste Kapitel gedacht; lesen Sie sie, nachdem Sie jenes gelesen haben.

Grün steht für die Referenzgewichte, Bernstein für quantisiert. Die Quantisierung eines Diffusionsmodells ist nicht das Gratisgeschenk, das sie bei einem Sprachmodell ist: Derselbe Prompt und derselbe Seed ergeben ein sichtbar anderes Bild, meist ein etwas weicheres. Bei FP8 ist es ein guter Kompromiss, bei 4 Bit eine Ermessensfrage.

Von unten in der Preisspalte gelesen, ist das Bild eindeutig: NVIDIA L4 ist für $125 im Monat die günstigste Maschine, die wir vermieten und die FLUX.1 dev überhaupt fasst — in FP8. Die günstigste, die es in vollem BF16 fasst, ist NVIDIA RTX A6000, für $286. Video bei voller Präzision startet auf derselben Karte.

Die Spalte, die alle falsch lesen

Hier kommt der Teil, der Bildarbeit von allem anderen auf dieser Seite unterscheidet, und das ist der Grund, warum die billigste Karte in dieser Tabelle eine Falle ist.

Wenn ein Sprachmodell ein Token erzeugt, liest es jedes aktive Gewicht einmal aus dem Speicher, führt mit jedem eine kleine Menge Arithmetik aus und schreibt ein einzelnes Token. Das wiederholt sich für das nächste Token, und das übernächste. Die Karte verbringt ihr Leben mit Warten auf den Speicherbus, weshalb unsere Durchsatzschätzungen für Sprachmodelle im Wesentlichen Bandbreite geteilt durch gelesene Gewichte sind, und weshalb die Bandbreitenspalte diejenige ist, die auf einem Serving-Guide zählt.

Ein Diffusionsschritt sieht anders aus. Dieselben Gewichte werden zwanzig- bis fünfzigmal auf denselben latenten Tensor angewendet, und jeder Durchgang verrichtet sehr viel Arithmetik pro geladenem Byte. Die Gewichte bleiben resident; die Arbeit besteht aus Faltungen und Attention über einen kleinen Tensor. Das kehrt die Beschränkung um: Ein Bildmodell ist durch den Tensor-Durchsatz begrenzt, nicht durch den Speicherbus. Daraus folgen drei Dinge, und alle drei kosten Geld, wenn man sie falsch einschätzt.

Bandbreite pro Dollar ist ein Näherungswert — ein grober — für die Klasse von Karte, die Sie sich ansehen, und in unserem Katalog liegen NVIDIA RTX 5090 und NVIDIA RTX 4090 damit mit großem Abstand auf den ersten beiden Plätzen. Das ist kein Zufall, und es ist auch kein Schnäppchen, das wir Ihnen aufreden: Es sind die Bauteile, die genau für diese Art von Rechnung entwickelt wurden, und sie stehen weit unten auf unserer Preisliste, weil der Markt sie wie Gaming-Hardware bepreist, nicht wie Trainingscluster.

Auflösung, Batch und Video

Die Gewichte sind fest. Was sich ändert, ist der Arbeitsspeicherbedarf, und der bewegt sich mit den Pixeln, nicht mit den Parametern. Das Latent selbst ist vernachlässigbar — es sind die Aktivierungen, die bei dieser Auflösung durch das Netz laufen, die die Karte füllen.

latent_elements = (H / 8) * (W / 8) * C * batch
# C = 4 latent channels on SDXL, 16 on SD 3.5 and FLUX.

# 1024x1024, batch 1, SDXL:
128 * 128 * 4 * 1     = 65,536 elements   = 128 KB in FP16

# 2048x2048, batch 4, SDXL:
256 * 256 * 4 * 4     = 1,048,576         = 2 MB in FP16

# The latent is never the problem. The activations that pass through the
# network at that resolution are, and they scale by the SAME factor:
# doubling the edge quadruples the pixel count, and roughly quadruples
# the working set. Batch multiplies it linearly on top.

Drei praktische Konsequenzen, in der Reihenfolge, in der Sie ihnen begegnen:

1. Der Spitzenwert liegt meist beim VAE-Decode, nicht bei der Sampling-Schleife. Das Decoding vergrößert das Latent in einem Durchgang zurück auf die volle Auflösung, und genau dieser eine Moment löst den Out-of-Memory-Fehler aus – und zwar ganz am Ende eines Jobs, der eine Minute lang problemlos gelaufen war. Tiled Decoding behebt das und kostet etwas Zeit.
2. Batching ist die richtige Art, eine große Karte zu nutzen. Bleiben nach dem Modell 20 GB übrig, sind vier Bilder gleichzeitig eine weit bessere Nutzung davon als ein Bild mit Reserve — die Gewichte werden für den ganzen Batch nur einmal gelesen, und genau das ist die einzige Stelle, an der eine Diffusions-Pipeline sich wie eine bandbreitengebundene Aufgabe verhält.
3. Video fügt eine Dimension hinzu, keinen Prozentsatz. Wan 2.1 video 14B erzeugt einen Block von Frames gemeinsam, sodass die Frames denselben Arbeitsspeicherbedarf multiplizieren, den Höhe und Breite bereits multiplizieren. Deshalb verlangt ein Video-Modell mit 14 Milliarden Parametern eine deutlich größere Karte als ein Bild-Modell mit 12 Milliarden Parametern, und deshalb unterschätzt die Gewichtstabelle oben diese Zeile stärker als jede andere.

ComfyUI zum Laufen bringen

ComfyUI ist eines der Images, die wir vor der Auslieferung auf die Maschine schreiben lassen können, wodurch dieser Abschnitt optional wird. Wenn Sie es lieber selbst aufsetzen, sind es ein Container und ein Tunnel.

$ ssh root@203.0.113.42
$ nvidia-smi --query-gpu=name,memory.total --format=csv

# Checkpoints, LoRAs, ControlNets and VAEs on the fast local NVMe.
# This directory is the reason you are renting by the month.
$ mkdir -p /scratch/comfy/models
$ df -h /scratch

$ docker run -d --name comfy --restart unless-stopped \
    --gpus all --ipc=host \
    -v /scratch/comfy:/data \
    -p 127.0.0.1:8188:8188 \
    your-comfyui-image --listen 0.0.0.0 --port 8188

# From YOUR machine, not the server: a tunnel, then a local browser tab.
$ ssh -N -L 8188:127.0.0.1:8188 root@203.0.113.42
# http://127.0.0.1:8188

Was ein Monat bringt

Dass sich Bildarbeit für eine monatliche Maschine eignet, liegt nicht am Preis der GPU. Es liegt an der Bibliothek. Eine ernsthafte ComfyUI-Installation umfasst mehrere hundert Gigabyte an Checkpoints, LoRAs, ControlNets, Upscalern und VAEs, die Sie kuratiert haben und nicht erneut herunterladen wollen.

Das ist die Spalte, die Sie vergleichen sollten, und genau die lassen stundenweise abrechnende Plattformen aus der Schlagzeile heraus. Dort ist die Platte ein eigener Posten, abgerechnet pro Gigabyte und Monat, und sie wird weiter berechnet, während die Instanz gestoppt ist — oder Sie löschen sie und laden beim nächsten Arbeitsbeginn mehrere hundert Gigabyte erneut herunter.

Das ist dieselbe Falle, die der stündliche Break-even beschreibt, nur in der Form, die sie für Bildarbeit annimmt. Abrechnung pro Sekunde wirkt sicher, weil Sie die Instanz stoppen können, und niemand stoppt sie, weil das Stoppen bedeutet, die Bibliothek zu verlieren. Die ehrliche Frage lautet nicht „wie viele Stunden werde ich generieren“, sondern „wie viele Stunden muss diese Maschine existieren“ — und für jeden mit einem kuratierten Modellverzeichnis lautet die Antwort: alle. Die Zahlung ist eine einzige Überweisung in Krypto, es gibt keine Einrichtungsgebühr, und wir haben nicht gefragt, wer Sie sind: Die Prompts, die LoRAs, die Sie trainiert haben, und die Kundenarbeit, die Sie noch nicht ausgeliefert haben, bleiben auf einer Maschine, auf der nur Sie Root haben.

Wann Sie keine Karte mieten sollten

Wir würden lieber nicht, dass Sie eine dieser Karten mieten und es bereuen, daher hier die Fälle, in denen die Antwort Nein lautet.

Überall sonst — eine Bibliothek, die Sie aufgebaut haben, eine Pipeline, die Sie ständig ändern, Batch-Jobs, die über Nacht laufen, oder Arbeit, die Ihre eigene Platte einfach nicht verlassen sollte — ist eine dedizierte Karte im Monatsmodell die günstigere und ruhigere Lösung. Der Konfigurator sagt Ihnen für jeden Knoten in unserem Katalog, ob das Modell, das Sie im Sinn haben, auf eine Karte passt, bevor Sie irgendetwas bezahlen.