Wie viele Nutzer eine GPU tatsächlich bedienen kann.

Die Kurzfassung

Jeder Guide, der Ihnen sagt, ob ein Modell passt, beantwortet eine Frage zu einer einzigen Anfrage. Ein Produkt ist keine einzige Anfrage. Sobald zwei Nutzer gleichzeitig Ihren Endpoint verwenden, braucht die Maschine eine zweite Kopie der Konversation im Speicher – und eine dritte, und eine vierzigste –, während die Gewichte selbst genau einmal gespeichert sind.

Die Zahl, die entscheidet, wie viele Nutzer Sie bedienen können, ist also nicht die Größe der Karte. Es ist die Größe der Karte minus das Modell, geteilt durch das, was eine Konversation kostet. Beide Größen sind bekannt, bevor Sie irgendetwas bestellen – das macht die Kapazität zu einer der wenigen Größen im Machine Learning, die Sie auf dem Papier ausrechnen und dabei richtig liegen können.

Alles Folgende rechnet genauso wie der Konfigurator, mit demselben Katalog, in 4-Bit und mit 8k Kontext. Falls Ihnen die Speicherformel selbst noch neu ist, gibt es dazu einen eigenen Guide – diese Seite zeigt, was mit ihr passiert, sobald mehr als eine Person dazukommt.

Was nach den Gewichten übrig bleibt

Nehmen Sie das Referenzmodell dieser Seite und setzen Sie es auf jede Knotengröße ein, die aus derselben Karte aufgebaut ist. Gleicher Chip, gleicher Preis pro Karte, alles gleich – nur die Speichermenge ändert sich. Beobachten Sie, wie sich die letzten beiden Spalten völlig unterschiedlich schnell bewegen.

Die erste Zeile ist die ganze Lehre: Eine Karte, die nicht einmal die Gewichte fasst, bedient niemanden – und das nicht knapp. Die Zeilen danach gewinnen Speicher in gleichen Schritten und Plätze in beschleunigten, denn die 40 GB Maut wird in der ersten Zeile bezahlt und danach nie wieder.

Was ein Nutzer tatsächlich kostet

Jetzt dieselben Modelle, sortiert wie ein Käufer sie sortieren würde: günstigste zuerst. Die letzte Spalte ist der Monatspreis geteilt durch die Anzahl an Nutzern, die die Maschine gleichzeitig fasst – die einzige Spalte, die zwei Maschinen ehrlich vergleicht, wenn Sie mehr als eine Demo bauen.

Eine Annahme, ausdrücklich genannt, weil sie jede Zahl verändert: Jede Platzanzahl gilt für eine Instanz des Modells, verteilt über den gesamten Knoten – das liefert Ihnen --tensor-parallel-size. Die Gewichte werden einmal gespeichert, und jede Karte trägt ihren verbleibenden Speicher zu demselben Pool an Konversationen bei. Lassen Sie stattdessen zwei getrennte Kopien auf demselben Knoten laufen, zahlen Sie die Maut zweimal – für insgesamt weniger Plätze.

Lesen Sie die beiden farbigen Zellen zusammen mit ihrer Preisspalte. NVIDIA L40S kostet $714 pro Monat und fasst 2; 4 × NVIDIA L4 kostet $564 – weniger Geld – und fasst 19. Das sind 10× der Plätze für 0.79× der Rechnung, und trotzdem ist die teure Maschine diejenige, die in den meisten engeren Wahlen bleibt, weil bei ihr das Modell auf eine einzige Karte passt.

Über den gesamten Katalog statt nur die ersten zehn Zeilen betrachtet, liegt der beste Preis pro Platz für dieses Modell bei 8 × NVIDIA RTX A6000 zu $2,239 pro Monat: 119 gleichzeitige Anfragen, je $18.82. Das ist eine weit höhere Rechnung als alles in der Auswahl oben, und trotzdem der günstigste Weg, einen Nutzer unterzubringen – der Satz, der entscheidet, ob Sie ein Produkt oder einen Prototyp dimensionieren.

Die Kontextlänge ist der andere Multiplikator

Alles oben ging von 8k Kontext aus. Diese Annahme leistet mehr als die Wahl der Maschine. Der Cache wird pro Token ebenso bezahlt wie pro Nutzer, sodass derselbe Knoten je nach erlaubter Länge einer Konversation eine völlig unterschiedliche Anzahl an Nutzern unterbringt.

Eine Maschine, vier Modelle, vier Kontextlängen. Der Knoten ist 8 × NVIDIA L4 zu $1,106 pro Monat – der günstigste in unserem Katalog, der alle vier Modelle gleichzeitig fasst, sodass jede Zahl unten am selben Speicher gemessen ist.

Auf ein und derselben unveränderten Maschine steigt Llama 3.3 70B von 105 auf 3 gleichzeitige Nutzer – ein Faktor 35× – rein durch eine Zahl, die Sie auf der Kommandozeile setzen. An der Hardware hat sich nichts geändert.

Daraus folgen zwei Dinge. Erstens: Die Kontextspalte, die Sie lesen sollten, ist die, die Sie tatsächlich bedienen, nicht die, mit der die Model Card wirbt – ein Modell, das 128k unterstützt, verpflichtet Sie nicht, diese auch zu reservieren. Zweitens: Der Cache pro Token schwankt enorm zwischen ähnlich großen Modellen, weil er vom Attention-Design bestimmt wird und nicht von der Parameterzahl; die größten Modelle in dieser Tabelle haben teils die kleinsten Caches – die mit Abstand kontraintuitivste Tatsache in diesem ganzen Bereich.

Vier Wege, Kapazität zurückzukaufen

In absteigender Reihenfolge davon, wie viel sie bringen im Verhältnis zu dem, was sie kosten. Der erste ist fast kostenlos und wird fast immer ungenutzt liegen gelassen.

Derselbe Knoten, dieselben Gewichte, dasselbe Geld. Die einzige Änderung ist die Präzision, in der der Cache gespeichert wird – und das ist der Unterschied zwischen einer Maschine, die ein Team bedient, und einer Maschine, die ein Produkt bedient.

Plätze sind nicht dasselbe wie Bedienung

Eine Korrektur, bevor Sie irgendetwas nach den Zahlen oben dimensionieren – und es ist die Korrektur, die diese Seite ehrlich hält. Alles hier zählt, wie viele Konversationen die Maschine offen halten kann. Es verspricht nicht, dass alle davon schnell beantwortet werden.

Speicher und Bandbreite sind zwei unterschiedliche Grenzen. Auf 8 × NVIDIA L4 hat Llama 3.3 70B Kapazität für 52 gleichzeitige Konversationen, während ein einzelner Nutzer allein auf dieser Maschine etwa 17 Token pro Sekunde sieht. Alle 52 Plätze zu füllen gibt nicht jedem von ihnen 17 Token pro Sekunde – die Generierung teilt sich dieselbe Speicherbandbreite, sodass die Gesamtrate mit dem Batching steigt und die Rate pro Nutzer sinkt. Die Bandbreitengrenze wird deutlich vor der Speichergrenze erreicht.

Die gute Nachricht: Die beiden Grenzen bewegen sich gemeinsam – die Maschinen mit viel übrigem Speicher nach den Gewichten sind, von wenigen Ausnahmen abgesehen, auch die Maschinen mit mehr Bandbreite. Nach Spielraum zu wählen, kostet selten Geschwindigkeit. Den Serving-Stack einzurichten auf der Maschine, für die Sie sich entscheiden, ist ein eigener Guide – dort werden diese Zahlen über die passenden Flags eingelöst.

Die Wahl für die eigene Nutzerzahl

Der Reihe nach. Halten Sie bei der ersten Zeile an, die Ihre Last beschreibt.

1. Eine Anfrage nach der anderen. Batch-Jobs, ein internes Tool, ein einzelner Entwickler. Kaufen Sie die günstigste Maschine, die das Modell auf einer Karte hält, und hören Sie hier auf zu lesen – jede weitere Spalte auf dieser Seite beantwortet eine Frage, die Sie nicht haben.
2. Eine Handvoll Nutzer, gelegentlich. Ein Team-Tool, ein frühes Produkt. Ermitteln Sie Ihre Spitzenlast an gleichzeitigen Anfragen, nicht Ihre Nutzerzahl: Hundert registrierte Nutzer bedeuten selten mehr als eine Handvoll gleichzeitiger. Nehmen Sie dann die günstigste Maschine, deren Platzanzahl komfortabel über dieser Spitze liegt.
3. Ein echtes Produkt mit echtem Traffic. Sortieren Sie den Katalog nach Preis pro Platz statt nach Preis, begrenzen Sie den Kontext auf das, was Sie tatsächlich bedienen, stellen Sie den Cache auf 8 Bit, und rechnen Sie damit, dass der Sieger eine Maschine ist, die Sie nach ihrem Monatspreis nicht in die engere Wahl genommen hätten.
4. Lange Dokumente oder lange Konversationen. Lesen Sie zuerst die Kontexttabelle, dann die Maschinentabelle. Ab 32k dominiert der Cache so vollständig, dass die Wahl des Modells weniger zählt als das Attention-Design dahinter.
5. Schwankender, unvorhersehbarer Traffic. Dimensionieren Sie für die Spitze, bei der Sie nicht ausfallen dürfen, denn der Cache lässt sich nicht leihen, wenn er ausgeht – eine Anfrage, die für ihre Konversation keinen Platz mehr findet, wartet in einer Warteschlange. Ist die Spitze selten und enorm, ist eine pro Token abgerechnete API für den Überlauf günstiger als eine Maschine, die für einen Ausschlag dimensioniert ist, der zweimal im Monat vorkommt.

Bei welcher Zeile auch immer Sie stehengeblieben sind, subtrahieren Sie zuerst, bevor Sie irgendetwas anderes tun: Nehmen Sie den Speicher der Maschine, ziehen Sie die Gewichte Ihres Modells in der Präzision ab, in der Sie es bedienen werden, und schauen Sie, was übrig bleibt. Dieser Rest ist das Produkt, das Sie mieten. Der Konfigurator führt dieselbe Rechnung für jeden Knoten aus, den wir betreiben, und was ein Monat davon kostet, wird separat ermittelt.