Was ein Mixture-of-Experts-Modell wirklich kostet.

Die Kurzfassung

Ein Mixture-of-Experts-Modell teilt den Feed-Forward-Teil jedes Layers in viele kleine Netzwerke auf und schickt jedes Token nur durch wenige davon. Der veröffentlichte Name hält beide Tatsachen fest: die Gesamtzahl der Parameter, und die Zahl, die für ein einzelnes Token aktiv ist. Die erste Zahl müssen Sie vollständig im Speicher halten, die zweite lesen Sie nur pro Token. Dieser eine Satz ist der ganze Guide, und ihn zu verwechseln ist der teuerste Fehler, den wir Leute vor einer Bestellung machen sehen.

Die Folge ist ein Modell mit einer merkwürdigen Kostenform: Es mietet sich wie ein Riese und läuft wie ein mittelgroßes Modell. Ob das ein Schnäppchen oder eine Falle ist, hängt vollständig davon ab, welche der beiden Zahlen Ihr Engpass ist.

Die Rechnung unten ist dieselbe, die der Konfigurator ausführt, auf demselben Katalog. Wenn Sie noch nicht ermittelt haben, wie viel Speicher ein Modell überhaupt braucht, kommt diese Formel zuerst – diese Seite zeigt, was sich ändert, sobald das Modell ein Mixture-of-Experts-Modell ist.

Den Namen lesen

Drei Namenskonventionen sind im Umlauf, und alle kodieren dasselbe Zahlenpaar – deshalb hält sich die Verwirrung. Sobald Sie sie lesen können, beantwortet sich die Dimensionierungsfrage von selbst.

Die letzte Spalte ist die, die man sich merken sollte. Ein dichtes Modell liest alles, was es speichert; ein Mixture-of-Experts-Modell liest einen Ausschnitt. Alles Merkwürdige an diesen Modellen — im Guten wie im Schlechten — folgt aus genau dieser einen Zeile.

Der Speicher, den Sie tatsächlich mieten

Hier ist die ganze Falle in einer Tabelle. Die mittlere Spalte zeigt, was das Modell auf der Maschine braucht; die Spalte danach zeigt, wofür ein Leser budgetiert hätte, der die aktive Zahl für bare Münze genommen hätte. Die letzte Spalte ist die Rechnung für dieses Missverständnis.

Lesen Sie die letzte Spalte als Einkaufsfehler. Wer allein anhand der aktiven Zahl dimensioniert, würde nach einer einzigen Karte suchen und am Ende einen ganzen Knoten brauchen — nicht eine etwas größere Maschine, sondern eine andere Kategorie von Maschine, zu einem anderen Preis.

Was die aktiven Parameter bringen

Generierung wird durch die Speicherbandbreite begrenzt: Jedes neue Token erfordert, die daran beteiligten Gewichte erneut zu lesen. Ein Mixture-of-Experts-Modell liest nur seinen aktiven Ausschnitt, sodass die Obergrenze seiner Geschwindigkeit durch eine viel kleinere Zahl gesetzt wird, als seine Größe vermuten lässt. Dieser Teil des Versprechens ist real, und deshalb gibt es diese Modelle überhaupt.

Die Tabelle unten stellt jedes Modell auf dieselbe Maschine — 8 × NVIDIA A100 PCIe zu $7,906 pro Monat, der günstigste Knoten in unserem Katalog, der sie alle gleichzeitig hält. Durchsatzwerte zu vergleichen, die auf unterschiedlichen Maschinen gemessen wurden, vergleicht gar nichts.

Die beiden Zeilen, die sich zu vergleichen lohnen, sind das größte Mixture-of-Experts-Modell und das größte dichte Modell, weil beide auf den gesamten Knoten aufgeteilt sind. Das Mixture-of-Experts-Modell ist mit weitem Abstand das größere der beiden und generiert trotzdem schneller, weil es pro Token nur einen Bruchteil seiner selbst liest — genau das ist der Tausch, für den die Architektur gemacht ist. Lesen Sie die mit auf einer Karte markierten Zeilen anders: Diese Modelle belegen nur eine einzige Karte des Knotens und lassen die anderen sieben frei – das ist eine günstigere Maschine, die darauf wartet, gewählt zu werden, keine langsamere.

Die zweite Sache, die die Rechnung verbirgt, ist, dass sich ein Mixture-of-Experts-Modell schwerer gut sharden lässt. Ein dichtes Modell, das auf mehrere Karten aufgeteilt ist, synchronisiert einmal pro Layer; ein Mixture-of-Experts-Modell muss Token außerdem an die Karte routen, die den jeweils gewählten Experten hält, was ein anderes und weniger vorhersagbares Verkehrsmuster ergibt. Das ist einer der wenigen Workloads, bei denen der Interconnect seinen Preis wirklich wert ist, statt nur auf der Rechnung aufzutauchen.

Die Hälfte, die günstiger wird

Bisher waren das alles schlechte Nachrichten für die großen Modelle. Hier ist der Ausgleich, und zwar ein großer, den fast kein Vergleich erwähnt: Die Modelle mit den meisten Parametern auf dieser Seite haben den kleinsten Key/Value-Cache pro Token. Der Cache wird vom Attention-Design festgelegt – Layer, Key/Value-Heads, Head-Dimension – und hat nichts damit zu tun, wie viele Experten hinter der Attention stecken.

Diese Spalten gelten pro gleichzeitiger Anfrage. Multiplizieren Sie mit der Zahl der Menschen, die den Endpunkt gleichzeitig nutzen, und die Rangfolge in der letzten Spalte bestimmt Ihre Maschine weit mehr als die Gewichte.

Die praktische Lesart: Gewichte sind ein fixer Eintrittspreis, der Cache sind die laufenden Kosten. Ein Mixture-of-Experts-Modell verlangt einen enormen Eintrittspreis und dann geringe laufende Kosten pro Nutzer. Ein dichtes Modell vergleichbarer Fähigkeit ist genau umgekehrt. Welches der beiden für Sie günstiger ist, entscheiden Nebenläufigkeit und Kontextlänge – nicht die Parameterzahl auf der Modellkarte.

Welche Maschinen sie halten

Bei 4-Bit, mit dem Referenzkontext, und mit dem günstigsten Knoten in unserem Katalog, der jedes Modell hält — ob auf einer Karte oder aufgeteilt auf den Knoten. Das sind die Eintrittspreise, keine Empfehlungen; der nächste Abschnitt erklärt, warum.

Jede einzelne davon ist ein Multi-Karten-Knoten, und das ist die ehrliche Kernaussage dieser Seite: Nichts in unserem Katalog hält eines dieser Modelle auf einer einzigen Karte, egal wie klein die aktive Zahl sie aussehen lässt. Der vollständige Katalog enthält die restlichen Konfigurationen, und der Konfigurator führt genau diese Prüfung für Ihr eigenes Modell und Ihren Kontext durch.

Der günstigste Knoten ist der falsche

Passen ist eine Schwelle, kein Ziel. Sobald ein Modell auf einen Knoten aufgeteilt ist, hängt der Durchsatz von der Speicherbandbreite der Karten ab, auf die es aufgeteilt ist — und die Bandbreite pro Dollar variiert um mehr als das Doppelte zwischen Konfigurationen, die alle dieselbe Speicherhürde nehmen. Hier ist DeepSeek V3 671B-A37B (MoE) auf jedem Knoten, der es hält, sortiert nach Preis, mit der einzig wichtigen Spalte rechts.

Die grüne Zelle ist das beste Preis-Leistungs-Verhältnis auf der Liste, und sie ist nicht die günstigste Zeile. Der Wechsel von $7,906 zu $11,790 vervielfacht die Rechnung um 1.5× und den Durchsatz um 2.8× — Sie zahlen mehr, und jedes Token kostet Sie weniger. Einen Katalog nach Preis zu sortieren und die erste passende Maschine zu nehmen, ist die Art, wie ein Serving-Budget zweimal ausgegeben wird.

Ein Vorbehalt zu dieser Spalte, und er gilt für jede Preis-pro-Durchsatz-Tabelle, die Sie je lesen werden: Sie beruht auf der Generierung mit einem einzelnen Stream. Unter kontinuierlichem Batching steigt die Summe in jeder Zeile um ein Vielfaches, und sie steigt nicht in jeder Zeile um denselben Faktor — ein Knoten mit mehr freiem Speicher nach den Gewichten hält mehr gleichzeitige Sequenzen. Die Rangfolge ist stabil; die absoluten Zahlen sind konservativ. Die Wirtschaftlichkeit dieser Summe wird an anderer Stelle durchgerechnet.

Wann ein Mixture-of-Experts-Modell die richtige Antwort ist

Der Reihe nach. Halten Sie bei der ersten Zeile an, die auf Sie zutrifft.

1. Ein dichtes Modell, das auf eine Karte passt, erledigt die Aufgabe. Dann nehmen Sie es, und schauen Sie nicht zurück. Eine Karte bedeutet: kein Sharding, keine Interconnect-Frage, kein Expert-Routing-Verkehr, und eine Maschine, die einen Bruchteil eines Knotens kostet. Die meisten Produkte, die glauben, ein offenes Frontier-Modell zu brauchen, brauchen ein gutes 32B-Modell.
2. Sie brauchen die Qualität, und Ihr Kontext ist lang. Genau hier ist ein Mixture-of-Experts-Modell wirklich das beste verfügbare Werkzeug: Sie zahlen einmal für die Gewichte, und der kleine Cache sorgt dafür, dass die Maschine lange Gespräche weiter bedient, ohne einzuknicken. Dimensionieren Sie den Knoten anhand der Gewichte, und prüfen Sie dann die Cache-Tabelle für Ihren tatsächlichen Kontext.
3. Sie brauchen die Qualität und bedienen viele Menschen gleichzeitig. Gleiche Antwort, gleicher Grund, und der Vorteil wächst mit der Nebenläufigkeit. Die Fixkosten werden über jeden Stream amortisiert, während die Kosten pro Stream niedrig bleiben.
4. Sie brauchen die Qualität, aber nur gelegentlich. Dann mieten Sie einen großen Knoten, nur um ihn ein paar Stunden pro Woche warmzuhalten – das ist die denkbar schlechteste Nutzung einer monatlichen Laufzeit. Bündeln Sie die Arbeit entweder so, dass sie in einem Rutsch läuft, oder nutzen Sie dafür einen gehosteten Endpunkt und behalten Sie Ihre eigene Maschine für die gleichmäßige Last.
5. Sie wollen eines fine-tunen. Anderes Problem, größere Maschine: Training berührt jeden Experten und braucht Optimizer-Zustand für alle davon, sodass der Speicherbedarf, der schon die Inferenz unhandlich machte, hier unerschwinglich wird. Adapter-Fine-Tuning auf einem dichten Modell ist für fast jeden der realistische Weg.

Bei welcher Zeile auch immer Sie hängengeblieben sind: Die Zahl, die Sie zuerst prüfen sollten, ist die Gesamtzahl der Parameter, in der Präzision, in der Sie bedienen wollen. Alles andere auf dieser Seite — die Geschwindigkeit, der Cache, der Preis pro Token pro Sekunde — wird erst relevant, sobald das Modell resident ist. Der Konfigurator führt die gesamte Prüfung für jeden Knoten durch, den wir vermieten, und wendet auf die Durchsatzschätzung dieselbe Routing-Korrektur an wie die Tabellen oben. Wenn Sie lieber zuerst die vollständige Speicherrechnung sehen möchten, dazu gibt es einen eigenen Guide; wenn Sie sich noch nicht auf ein Zahlenformat festgelegt haben, kommt diese Entscheidung vor dieser hier.