Dimensionierung-Guide · 10 Min. Lesezeit

# Wie viele Nutzer eine GPU tatsächlich bedienen kann.

Eine Maschine, die Ihr Modell fasst, ist keine Maschine, die Ihre Nutzer bedient. Die Gewichte sind eine Maut, einmal fällig; was danach übrig bleibt, ist Ihr gesamtes Budget für die Bedienung von Nutzern. Dieser Rest – nicht die Größe der Karte – entscheidet über Ihre Kapazität, und er verändert sich weit schneller als der Speicher.

Die kurze Antwort

- **Kapazität ist der Rest, nicht die Karte:** **Llama 3.3 70B** reserviert in 4-Bit **40 GB**, bevor es auch nur einen Nutzer bedient. Jede weitere gleichzeitige Anfrage kostet danach **2.9 GB** mehr.
- **Deshalb zahlt der Speicher zweimal:** Auf ein und derselben Karte vervielfacht der Sprung von 48 GB auf 240 GB den Speicher um das 5.0×-Fache und die Platzanzahl um das **35×-Fache**. Die Gewichte sind bereits bezahlt.
- **Der schlechteste Kauf in der engeren Wahl:** [NVIDIA L40S](https://gpuserver.io/de/gpu/l40s) für **$714** im Monat fasst 2 gleichzeitige Anfragen — **$357.00** pro Platz.
- **Die beste kostet weniger:** [4 × NVIDIA L4](https://gpuserver.io/de/gpu/nvidia-l4) für **$564** fasst 19 — **$29.68** pro Platz, bei einer günstigeren Rechnung.

## Die Kurzfassung

Jeder Guide, der Ihnen sagt, ob ein Modell *passt*, beantwortet eine Frage zu einer einzigen Anfrage. Ein Produkt ist keine einzige Anfrage. Sobald zwei Nutzer gleichzeitig Ihren Endpoint verwenden, braucht die Maschine eine zweite Kopie der Konversation im Speicher – und eine dritte, und eine vierzigste –, während die Gewichte selbst genau einmal gespeichert sind.

Die Zahl, die entscheidet, wie viele Nutzer Sie bedienen können, ist also nicht die Größe der Karte. Es ist die Größe der Karte *minus* das Modell, geteilt durch das, was eine Konversation kostet. Beide Größen sind bekannt, bevor Sie irgendetwas bestellen – das macht die Kapazität zu einer der wenigen Größen im Machine Learning, die Sie auf dem Papier ausrechnen und dabei richtig liegen können.

**Die Gewichte sind eine Maut.** Einmal fällig, beim Einstieg, unabhängig vom Traffic. Sie wachsen nicht mit Ihren Nutzern, und sie kommen nie zurück.

**Der Key/Value-Cache ist die Miete.** Fällig pro gleichzeitiger Anfrage, solange diese Anfrage offen ist, und proportional zur Länge der Konversation.

**Die Kapazität ist der Rest, geteilt durch die Miete.** Deshalb bedient eine Maschine mit doppelt so viel Speicher sehr oft zehnmal so viele Nutzer statt nur doppelt so viele.

**Und warum die günstigste passende Maschine meist das schlechteste Preis-Leistungs-Verhältnis bietet.** Sie passt, weil praktisch nichts übrig bleibt – und das bisschen, das übrig bleibt, ist der einzige Teil, den Sie tatsächlich kaufen.

Alles Folgende rechnet genauso wie [der Konfigurator](https://gpuserver.io/de/configure), mit demselben Katalog, in 4-Bit und mit 8k Kontext. Falls Ihnen die Speicherformel selbst noch neu ist, [gibt es dazu einen eigenen Guide](https://gpuserver.io/de/guides/vram-sizing) – diese Seite zeigt, was mit ihr passiert, sobald mehr als eine Person dazukommt.

## Was nach den Gewichten übrig bleibt

Nehmen Sie das Referenzmodell dieser Seite und setzen Sie es auf jede Knotengröße ein, die aus derselben Karte aufgebaut ist. Gleicher Chip, gleicher Preis pro Karte, alles gleich – nur die Speichermenge ändert sich. Beobachten Sie, wie sich die letzten beiden Spalten völlig unterschiedlich schnell bewegen.

**Gleichzeitige Anfragen für Llama 3.3 70B in 4-Bit und 8k Kontext, auf jedem Knoten, der aus derselben Karte aufgebaut ist**

| Knoten | Speicher | Übrig nach den Gewichten | Gleichzeitige Anfragen | Pro Monat |
|---|---|---|---|---|
| [NVIDIA L4](https://gpuserver.io/de/gpu/nvidia-l4) | 24 GB | — | fasst es nicht | $125 |
| [2 × NVIDIA L4](https://gpuserver.io/de/gpu/nvidia-l4) | 48 GB | 8 GB | 2 | $285 |
| [4 × NVIDIA L4](https://gpuserver.io/de/gpu/nvidia-l4) | 96 GB | 56 GB | 19 | $564 |
| [8 × NVIDIA L4](https://gpuserver.io/de/gpu/nvidia-l4) | 192 GB | 152 GB | 52 | $1,106 |
| [10 × NVIDIA L4](https://gpuserver.io/de/gpu/nvidia-l4) | 240 GB | 200 GB | 69 | $1,371 |

Die erste Zeile ist die ganze Lehre: Eine Karte, die nicht einmal die Gewichte fasst, bedient niemanden – und das nicht knapp. Die Zeilen danach gewinnen Speicher in gleichen Schritten und Plätze in beschleunigten, denn die 40 GB Maut wird in der ersten Zeile bezahlt und danach nie wieder.

**Die Rechnung, in einer Zeile.** `Plätze = (Speicher − Gewichte) ÷ cache_per_request`. Bei Llama 3.3 70B in 4-Bit sind das 40 GB Maut und 2.9 GB Miete pro offener Konversation. Erst subtrahieren, dann dividieren – wer es umgekehrt macht, kauft eine Maschine für eine Demo und entdeckt ihre Grenze erst in der Produktion.

## Was ein Nutzer tatsächlich kostet

Jetzt dieselben Modelle, sortiert wie ein Käufer sie sortieren würde: günstigste zuerst. Die letzte Spalte ist der Monatspreis geteilt durch die Anzahl an Nutzern, die die Maschine gleichzeitig fasst – die einzige Spalte, die zwei Maschinen ehrlich vergleicht, wenn Sie mehr als eine Demo bauen.

Eine Annahme, ausdrücklich genannt, weil sie jede Zahl verändert: Jede Platzanzahl gilt für *eine* Instanz des Modells, verteilt über den gesamten Knoten – das liefert Ihnen `--tensor-parallel-size`. Die Gewichte werden einmal gespeichert, und jede Karte trägt ihren verbleibenden Speicher zu demselben Pool an Konversationen bei. Lassen Sie stattdessen zwei getrennte Kopien auf demselben Knoten laufen, zahlen Sie die Maut zweimal – für insgesamt weniger Plätze.

**Die zehn günstigsten Knoten, die Llama 3.3 70B fassen, mit dem Preis pro gleichzeitigen Nutzer für jeden einzelnen**

| Knoten | Speicher | Pro Monat | Gleichzeitige Anfragen | Pro Nutzer |
|---|---|---|---|---|
| [2 × NVIDIA L4](https://gpuserver.io/de/gpu/nvidia-l4) 2 Karten · je 24 GB | 48 GB | $285 | 2 | $142.50 |
| [NVIDIA RTX A6000](https://gpuserver.io/de/gpu/rtx-a6000) Eine Karte · 48 GB | 48 GB | $286 | 2 | $143.00 |
| [2 × NVIDIA RTX 4090](https://gpuserver.io/de/gpu/rtx-4090) 2 Karten · je 24 GB | 48 GB | $416 | 2 | $208.00 |
| [4 × NVIDIA L4](https://gpuserver.io/de/gpu/nvidia-l4) 4 Karten · je 24 GB | 96 GB | $564 | 19 | $29.68 |
| [2 × NVIDIA RTX A6000](https://gpuserver.io/de/gpu/rtx-a6000) 2 Karten · je 48 GB | 96 GB | $597 | 19 | $31.42 |
| [2 × NVIDIA RTX 5090](https://gpuserver.io/de/gpu/rtx-5090) 2 Karten · je 32 GB | 64 GB | $692 | 8 | $86.50 |
| [NVIDIA L40S](https://gpuserver.io/de/gpu/l40s) Eine Karte · 48 GB | 48 GB | $714 | 2 | $357.00 |
| [2 × NVIDIA A100 PCIe](https://gpuserver.io/de/gpu/a100-40gb) 2 Karten · je 40 GB | 80 GB | $802 | 13 | $61.69 |
| [4 × NVIDIA RTX 4090](https://gpuserver.io/de/gpu/rtx-4090) 4 Karten · je 24 GB | 96 GB | $814 | 19 | $42.84 |
| [NVIDIA A100 PCIe](https://gpuserver.io/de/gpu/a100-80gb) Eine Karte · 80 GB | 80 GB | $1,091 | 13 | $83.92 |

Lesen Sie die beiden farbigen Zellen zusammen mit ihrer Preisspalte. NVIDIA L40S kostet $714 pro Monat und fasst 2; 4 × NVIDIA L4 kostet $564 – *weniger Geld* – und fasst 19. Das sind 10× der Plätze für 0.79× der Rechnung, und trotzdem ist die teure Maschine diejenige, die in den meisten engeren Wahlen bleibt, weil bei ihr das Modell auf eine einzige Karte passt.

**Das ist kein Argument gegen Maschinen mit nur einer Karte.** Ein Modell, das auf eine Karte passt, braucht kein Sharding, keinen Interconnect, keine Tensor-Parallel-Flags, und es antwortet einem einzelnen Nutzer schneller als dasselbe Modell verteilt auf vier Karten. Ist Ihre Last eine Anfrage nach der anderen – ein Batch-Job, ein internes Tool, eine Demo –, ist diese Maschine der richtige Kauf, und die Spalte pro Nutzer ist für Sie irrelevant. Die Spalte wird erst wichtig, wenn Nutzer gleichzeitig eintreffen, und ab dann enorm wichtig.

Über den gesamten Katalog statt nur die ersten zehn Zeilen betrachtet, liegt der beste Preis pro Platz für dieses Modell bei [8 × NVIDIA RTX A6000](https://gpuserver.io/de/gpu/rtx-a6000) zu $2,239 pro Monat: 119 gleichzeitige Anfragen, je $18.82. Das ist eine weit höhere Rechnung als alles in der Auswahl oben, und trotzdem der günstigste Weg, einen Nutzer unterzubringen – der Satz, der entscheidet, ob Sie ein Produkt oder einen Prototyp dimensionieren.

## Die Kontextlänge ist der andere Multiplikator

Alles oben ging von 8k Kontext aus. Diese Annahme leistet mehr als die Wahl der Maschine. Der Cache wird pro Token ebenso bezahlt wie pro Nutzer, sodass derselbe Knoten je nach erlaubter Länge einer Konversation eine völlig unterschiedliche Anzahl an Nutzern unterbringt.

Eine Maschine, vier Modelle, vier Kontextlängen. Der Knoten ist [8 × NVIDIA L4](https://gpuserver.io/de/gpu/nvidia-l4) zu $1,106 pro Monat – der günstigste in unserem Katalog, der alle vier Modelle gleichzeitig fasst, sodass jede Zahl unten am selben Speicher gemessen ist.

**Gleichzeitige Anfragen auf einem Knoten, nach Modell und Kontextlänge, in 4-Bit**

| Modell | Cache pro Token | 4k | 8k | 32k | 128k |
|---|---|---|---|---|---|
| Llama 3.1 8B 4 GB Gewichte | 128 KiB | 325 | 162 | 40 | 10 |
| Qwen 3 32B 16 GB Gewichte | 256 KiB | 150 | 75 | 18 | 4 |
| Llama 3.3 70B 35 GB Gewichte | 320 KiB | 105 | 52 | 13 | 3 |
| Qwen 3 235B-A22B (MoE) 118 GB Gewichte | 188 KiB | 67 | 33 | 8 | 2 |

Auf ein und derselben unveränderten Maschine steigt Llama 3.3 70B von 105 auf 3 gleichzeitige Nutzer – ein Faktor 35× – rein durch eine Zahl, die Sie auf der Kommandozeile setzen. An der Hardware hat sich nichts geändert.

Daraus folgen zwei Dinge. Erstens: Die Kontextspalte, die Sie lesen sollten, ist die, die Sie tatsächlich bedienen, nicht die, mit der die Model Card wirbt – ein Modell, das 128k *unterstützt*, verpflichtet Sie nicht, diese auch zu reservieren. Zweitens: Der Cache pro Token schwankt enorm zwischen ähnlich großen Modellen, weil er vom Attention-Design bestimmt wird und nicht von der Parameterzahl; [die größten Modelle in dieser Tabelle haben teils die kleinsten Caches](https://gpuserver.io/de/guides/mixture-of-experts) – die mit Abstand kontraintuitivste Tatsache in diesem ganzen Bereich.

## Vier Wege, Kapazität zurückzukaufen

In absteigender Reihenfolge davon, wie viel sie bringen im Verhältnis zu dem, was sie kosten. Der erste ist fast kostenlos und wird fast immer ungenutzt liegen gelassen.

Deklarierten Kontext begrenzen Kostenlos, und der größte Gewinn Serving-Stacks reservieren Cache für die maximale Länge, die Sie deklarieren, nicht für die Länge, die Sie tatsächlich nutzen. 128k zu deklarieren und 8k zu bedienen verschenkt das Sechzehnfache des benötigten Speichers – und dieser Speicher war Ihre gesamte Platzkapazität. Setzen Sie `--max-model-len` von Anfang an auf Ihre tatsächliche Grenze.

Cache auf 8 Bit quantisieren Verdoppelt ungefähr die Plätze Die *Gewichte* auf 4 Bit zu quantisieren, ändert nichts am Cache: Er bleibt in jedem gängigen Stack bei 16 Bit, sofern Sie es nicht anders verlangen. Das ist ein einziges Flag, die Qualitätseinbuße ist bei Chat-Workloads meist unsichtbar, und die Tabelle unten zeigt, was es bringt.

Gewichte weiter quantisieren Hilft einmal, dann nicht mehr Die Gewichte zu halbieren gibt die Differenz direkt an den Cache weiter und kauft damit Plätze auf einer vollen Maschine frei. Es ist jedoch ein einmaliger Gewinn gegen eine feste Maut, und er kostet Qualität – [welches Format wie viel kostet](https://gpuserver.io/de/guides/awq-vs-gptq-vs-fp8), ist eine eigene Entscheidung.

Den Rest mieten, nicht die Karte Die strukturelle Lösung Jeder Hebel oben wirkt nur graduell. Der Wechsel zu einem Knoten, dessen Speicher die Gewichte um ein Vielfaches übersteigt, verändert die Form des Problems – und ist der einzige der vier, der sich mit wachsendem Betrieb weiter auszahlt.

**Gleichzeitige Anfragen auf demselben Knoten mit 16-Bit-Cache und mit 8-Bit-Cache, bei 8k Kontext**

| Modell | 16-Bit-Cache | 8-Bit-Cache | Gewonnene Plätze |
|---|---|---|---|
| Llama 3.1 8B | 162 | 325 | +163 |
| Qwen 3 32B | 75 | 150 | +75 |
| Llama 3.3 70B | 52 | 105 | +53 |
| Qwen 3 235B-A22B (MoE) | 33 | 67 | +34 |

Derselbe Knoten, dieselben Gewichte, dasselbe Geld. Die einzige Änderung ist die Präzision, in der der Cache gespeichert wird – und das ist der Unterschied zwischen einer Maschine, die ein Team bedient, und einer Maschine, die ein Produkt bedient.

## Plätze sind nicht dasselbe wie Bedienung

Eine Korrektur, bevor Sie irgendetwas nach den Zahlen oben dimensionieren – und es ist die Korrektur, die diese Seite ehrlich hält. Alles hier zählt, wie viele Konversationen die Maschine *offen* halten kann. Es verspricht nicht, dass alle davon schnell beantwortet werden.

Speicher und Bandbreite sind zwei unterschiedliche Grenzen. Auf [8 × NVIDIA L4](https://gpuserver.io/de/gpu/nvidia-l4) hat Llama 3.3 70B Kapazität für 52 gleichzeitige Konversationen, während ein einzelner Nutzer allein auf dieser Maschine etwa 17 Token pro Sekunde sieht. Alle 52 Plätze zu füllen gibt nicht jedem von ihnen 17 Token pro Sekunde – die Generierung teilt sich dieselbe Speicherbandbreite, sodass die Gesamtrate mit dem Batching steigt und die Rate pro Nutzer sinkt. Die Bandbreitengrenze wird deutlich vor der Speichergrenze erreicht.

**Die Platzanzahl als Grenze nutzen, nicht als Ziel.** Eine bis zum letzten Platz ausgelastete Maschine ist eine Maschine, bei der alle warten. Die Platzanzahl sagt Ihnen, welche Hardware Ihre Gleichzeitigkeit überhaupt bewältigen kann – sie scheidet die Maschinen aus, die es nicht können, und das ist der Großteil der engeren Wahl – und dann messen Sie die Rate, die Sie tatsächlich pro Nutzer wollen, und gehen von der Grenze ein Stück zurück. Auf die Grenze zu dimensionieren ist der zweithäufigste Weg, die falsche Maschine zu kaufen, gleich nach dem völligen Ignorieren des Cache.

Die gute Nachricht: Die beiden Grenzen bewegen sich gemeinsam – die Maschinen mit viel übrigem Speicher nach den Gewichten sind, von wenigen Ausnahmen abgesehen, auch die Maschinen mit mehr Bandbreite. Nach Spielraum zu wählen, kostet selten Geschwindigkeit. [Den Serving-Stack einzurichten](https://gpuserver.io/de/guides/serve-llama-70b) auf der Maschine, für die Sie sich entscheiden, ist ein eigener Guide – dort werden diese Zahlen über die passenden Flags eingelöst.

## Die Wahl für die eigene Nutzerzahl

Der Reihe nach. Halten Sie bei der ersten Zeile an, die Ihre Last beschreibt.

1. **Eine Anfrage nach der anderen.** Batch-Jobs, ein internes Tool, ein einzelner Entwickler. Kaufen Sie die günstigste Maschine, die das Modell auf einer Karte hält, und hören Sie hier auf zu lesen – jede weitere Spalte auf dieser Seite beantwortet eine Frage, die Sie nicht haben.
2. **Eine Handvoll Nutzer, gelegentlich.** Ein Team-Tool, ein frühes Produkt. Ermitteln Sie Ihre Spitzenlast an gleichzeitigen Anfragen, nicht Ihre Nutzerzahl: Hundert registrierte Nutzer bedeuten selten mehr als eine Handvoll gleichzeitiger. Nehmen Sie dann die günstigste Maschine, deren Platzanzahl komfortabel über dieser Spitze liegt.
3. **Ein echtes Produkt mit echtem Traffic.** Sortieren Sie den Katalog nach Preis pro Platz statt nach Preis, begrenzen Sie den Kontext auf das, was Sie tatsächlich bedienen, stellen Sie den Cache auf 8 Bit, und rechnen Sie damit, dass der Sieger eine Maschine ist, die Sie nach ihrem Monatspreis nicht in die engere Wahl genommen hätten.
4. **Lange Dokumente oder lange Konversationen.** Lesen Sie zuerst die Kontexttabelle, dann die Maschinentabelle. Ab 32k dominiert der Cache so vollständig, dass die Wahl des Modells weniger zählt als das Attention-Design dahinter.
5. **Schwankender, unvorhersehbarer Traffic.** Dimensionieren Sie für die Spitze, bei der Sie nicht ausfallen dürfen, denn der Cache lässt sich nicht leihen, wenn er ausgeht – eine Anfrage, die für ihre Konversation keinen Platz mehr findet, wartet in einer Warteschlange. Ist die Spitze selten und enorm, ist [eine pro Token abgerechnete API für den Überlauf](https://gpuserver.io/de/guides/api-vs-self-hosting) günstiger als eine Maschine, die für einen Ausschlag dimensioniert ist, der zweimal im Monat vorkommt.

Bei welcher Zeile auch immer Sie stehengeblieben sind, subtrahieren Sie zuerst, bevor Sie irgendetwas anderes tun: Nehmen Sie den Speicher der Maschine, ziehen Sie die Gewichte Ihres Modells in der Präzision ab, in der Sie es bedienen werden, und schauen Sie, was übrig bleibt. Dieser Rest ist das Produkt, das Sie mieten. Der [Konfigurator](https://gpuserver.io/de/configure) führt dieselbe Rechnung für jeden Knoten aus, den wir betreiben, und [was ein Monat davon kostet](https://gpuserver.io/de/guides/monthly-vs-hourly), wird separat ermittelt.

## Die Maschine nach den Nutzern dimensionieren, nicht nach dem Modell.

Der Konfigurator enthält jeden Knoten, den wir vermieten, rechnet genauso wie diese Seite, und zeigt, was nach dem Laden Ihres Modells übrig bleibt – bevor Sie für irgendetwas bezahlen.

[Konfigurator öffnen](https://gpuserver.io/de/configure) [Guides lesen](https://gpuserver.io/de/guides)

## Weitere Guides

- [Kosten · 6 Min. Wann Monatsmiete die Stundenmiete schlägt Der Break-even anhand realer Zahlen, die drei Kosten, die ein Stundenpreis bis zur Rechnung verbirgt, und die Leerlauf-Falle, die eine Schätzung verdreifacht. Guide lesen](https://gpuserver.io/de/guides/monthly-vs-hourly)
- [Kosten · 9 Min. Self-Hosting gegen eine API mit Preis pro Token Der Break-even zwischen einer API mit Preis pro Token und einer gemieteten GPU, mit unseren eigenen Zahlen — und vier Dinge, die dabei fehlen. Guide lesen](https://gpuserver.io/de/guides/api-vs-self-hosting)
- [Praxis · 11 Min. Llama 3.3 70B auf einem Knoten betreiben Von der gelieferten Maschine zum OpenAI-kompatiblen Endpunkt, mit den Flags, die zählen, und den zweien, die Ihren Durchsatz unbemerkt halbieren. Guide lesen](https://gpuserver.io/de/guides/serve-llama-70b)

---

Quelle: https://gpuserver.io/de/guides/concurrent-users/. Diese Datei wird aus denselben Daten wie die Website erzeugt; weicht eine Zahl hier von einer Seite ab, ist die Seite maßgeblich und diese Datei veraltet — die kanonische Quelle ist https://gpuserver.io/.