Wie viel VRAM ein Modell tatsächlich benötigt.

Die Formel

Es gibt hier keine Faustregel, die den Kontakt mit einem zweiten Modell übersteht. Die gesamte Berechnung sind drei Zeilen, und es lohnt sich, sie durchzuführen, statt einem Multiplikator zu vertrauen.

# 1. Weights
weights_gb   = parameters_in_billions × bytes_per_parameter

# 2. KV cache, per token — then multiplied by the context you serve
bytes_per_tok = 2 × layers × kv_heads × head_dim × cache_bytes
cache_gb      = bytes_per_tok × context_tokens × batch / 1024³

# 3. Everything else
total_gb      = (weights_gb + cache_gb) × 1.15

Die 2 steht dafür, dass es zwei Tensoren pro Token gibt, K und V. bytes_per_parameter ist 2 für BF16, 1 für FP8, 0.5 für 4-Bit. cache_bytes ist eine separate Zahl, und diese Trennung ist die häufigste Ursache für eine falsche Antwort – siehe unten.

Gewichte

Die einfache Hälfte. Sie verläuft exakt linear zur Parameterzahl, und die einzige Entscheidung ist die Präzision.

4-Bit-Quantisierung kostet Qualität, und wie viel hängt weit stärker vom Modell ab als von der Methode. Es ist der richtige Kompromiss, wenn er den Unterschied zwischen einer Karte und vier ausmacht; es ist ein schlechter Kompromiss, wenn Sie ohnehin schon genug Spielraum haben.

Der KV-Cache

Die schwierige Hälfte, und diejenige, die entscheidet, ob eine Maschine bei 4k ausreicht und bei 128k hoffnungslos ist. Sie hängt von Layern und KV-Heads ab – nicht davon, wie groß das Modell ist.

Lesen Sie die letzte Spalte vor der ersten. Bei 4k Kontext ist der Cache bei jedem Modell hier ein Rundungsfehler; bei 128k ist er größer als die Gewichte eines 70B-Modells in 4-Bit. DeepSeek V3 ist der Ausreißer, weil seine Latent Attention den Cache von Grund auf komprimiert – deshalb ist es trotz des größten Modells auf der Liste bei langem Kontext nutzbar.

Wo Schätzungen danebenliegen

Durchgerechnete Beispiele

Benötigter Gesamtspeicher, Gewichte plus Cache plus Overhead, bei 8k Kontext und einer Anfrage. Das ist dieselbe Berechnung, die der Konfigurator für jede Konfiguration im Katalog durchführt.

Die letzte Spalte zeigt den günstigsten Knoten in unserem Katalog, der das Modell bei 4-Bit und 8k Kontext hält, mit der Single-Stream-Generierungsrate, die die Speicherbandbreite zulässt. Die Durchsatzwerte sind bewusst konservativ angesetzt und an veröffentlichten Messungen kalibriert – verstehen Sie sie als Untergrenze, nicht als Versprechen.

Mehr als eine Anfrage bedienen

Genau hier wird aus einer für eine Demo dimensionierten Maschine eine, die kein Produkt bedienen kann. Gewichte werden einmal bezahlt; Cache wird pro gleichzeitiger Sequenz bezahlt.

Llama 3.3 70B bei 4-Bit sind 35 GB Gewichte, egal was Sie tun. Alles über 35 GB in dieser Tabelle ist Cache. Deshalb sind „lief einwandfrei auf meinem Laptop“ und „ist in Produktion abgestürzt“ dasselbe Modell auf derselben Karte.

Welche Maschine das bedeutet

Drei praktische Regeln, die sich aus allem oben Genannten ergeben, in der Reihenfolge ihrer Wichtigkeit.

1. Eine Karte schlägt mehrere, wann immer es möglich ist. Kein Sharding, keine Synchronisierung zwischen Layern, kein Interconnect, um den man sich sorgen müsste. Passt Ihr Modell bei Ihrem Kontext auf eine einzige Karte, kaufen Sie diese Karte.
2. Dimensionieren Sie für Ihren tatsächlichen Kontext und Ihre tatsächliche Nebenläufigkeit, nicht für das beworbene Maximum des Modells. Das beworbene Maximum ist eine Fähigkeit, keine Anforderung.
3. Müssen Sie sharden, bevorzugen Sie NVLink. Die Aufteilung auf vier PCIe-Karten funktioniert; die Aufteilung auf vier NVLink-Karten funktioniert und ist spürbar schneller. Der nächste Guide handelt genau davon, wann sich dieser Unterschied lohnt.

Der Konfigurator führt diese Berechnung live für alle 41 Konfigurationen durch: Wählen Sie ein Modell, eine Präzision und eine Kontextlänge, und er zeigt Ihnen, welche Knoten es halten, welche es auf einer einzigen Karte halten, und was jeder pro Monat kostet. Er verwendet die Formel auf dieser Seite – widersprechen Sie unserer Rechnung, können Sie jetzt genau sagen, wo.