Was eine Million Token kostet, in beide Richtungen.

Die Kurzfassung

Fast jeder Vergleich der beiden, den Sie lesen werden, endet in einer einzigen Zahl — „Self-Hosting ist zehnmal günstiger", „die API ist günstiger, bis man riesig ist" — und beides ist derselbe Fehler: die Angabe eines Preises pro Token für eine Maschine, die nicht pro Token abgerechnet wird. Eine gemietete GPU hat genau einen Preis, und der bewegt sich nicht: Ob Sie diesen Monat eine Milliarde Token generieren oder keinen einzigen, die Rechnung ist identisch. Die ehrliche Frage lautet also nicht „was kostet ein Token hier", sondern „wie viele Token muss ich generieren, bevor der Festpreis den Zähler schlägt".

Diese Zahl ist eine Division, und sie wird unten mit unseren eigenen Preisen und unserem eigenen Durchsatzmodell durchgeführt — demselben, das der Konfigurator verwendet. Alles danach handelt von den beiden Dingen, die entscheiden, ob Sie dieses Volumen erreichen: Batching und die Stunden, in denen die Maschine im Leerlauf bleibt.

Die Rechnung

Vier Zeilen. Die dritte ist die, die man auf ein Whiteboard schreiben sollte; die vierte ist die, die man überspringt – und genau das macht aus einer soliden Schätzung eine falsche.

# 1. What the API charges. Linear in what you use, zero when you stop.
api_cost_per_month = output_tokens_per_month / 1e6 × api_price_per_million

# 2. What the machine charges. A constant. Tokens are free once you own the hours.
machine_cost_per_month = monthly_price

# 3. Set them equal. This is the break-even VOLUME, in output tokens per month.
break_even_tokens = monthly_price / api_price_per_million × 1e6

# 4. And the only question that matters: can the machine produce that many?
#    730 hours is the month we bill, so 2,628,000 seconds of it.
sustained_tokens_per_second = break_even_tokens / 2,628,000

Zeile 4 ist eine anhaltende Rate, kein Spitzenwert. Eine Maschine, die eine Stunde am Tag 600 Token pro Sekunde erreicht und die übrigen 23 Stunden im Leerlauf verbringt, hat eine anhaltende Rate von 25, und der Rechnung ist es gleichgültig, von welcher der beiden Sie sprechen.

Was ein Stream kostet

Beginnen Sie mit dem schlechtesten Fall, denn er ist der einzige Wert, der sich ohne Annahmen angeben lässt: eine Anfrage nach der anderen, kein Batching, die Maschine sonst im Leerlauf. Jeder Knoten unten führt Llama 3.3 70B bei 4-bit (AWQ, GPTQ) aus, und der Durchsatz ist unsere eigene konservative Schätzung — jene, die durch die Speicherbandbreite begrenzt ist, statt an einem guten Tag gemessen.

Lesen Sie dies als Obergrenze, niemals als Angebot. Es ist der Preis eines Token, wenn die Maschine nur eine Anfrage nach der anderen beantwortet und den restlichen Monat ungenutzt bleibt — die ineffizienteste Art, eine GPU zu besitzen, die es gibt. Jeder reale Serving-Stack schneidet besser ab, und die nächsten beiden Abschnitte handeln davon, wie viel besser.

Der Break-even, je Stufe

Nehmen Sie die günstigste Zeile oben — 2 × NVIDIA RTX 5090 für $692 im Monat — und fragen Sie, wie viel Arbeit sie leisten muss, um jede Stufe des API-Marktes zu schlagen.

Die letzte Spalte ist der ganze Artikel. Wo „bereits günstiger“ steht, schlägt ein ungebatchter Stream auf einer $692-Maschine die API, und es gibt nichts weiter zu überlegen. Wo ein Vielfaches steht, kann die Maschine trotzdem gewinnen — aber nur, wenn Sie sie tatsächlich auslasten, was der nächste Abschnitt behandelt.

Batching entscheidet alles

Ein Token zu erzeugen erfordert, die aktiven Gewichte einmal aus dem Speicher zu lesen. Hundert Token für hundert verschiedene Anfragen zu erzeugen erfordert ebenfalls nur ein einziges Lesen — dieselben Gewichte bedienen jede Anfrage im Batch. Deshalb erzeugt ein Serving-Stack mit kontinuierlichem Batching ein Vielfaches der Token pro Sekunde eines einzelnen Streams auf identischer Hardware, und deshalb ist das Verhältnis in der letzten Spalte dieser Tabelle überhaupt erreichbar.

Die praktische Konsequenz: Behandeln Sie das Vielfache in der Break-even-Tabelle als Durchsatzziel, nicht als Nutzerzahl. Ein Ziel vom Zehnfachen des Einzel-Streams bedeutet nicht „zehn Nutzer“; es bedeutet, dass der Server im Schnitt das Zehnfache seiner ungebatchten Rate erreichen muss, was meist eher mehr als zehn gleichzeitige Anfragen braucht und eher weniger als hundert. Messen Sie es an der Maschine, bevor Sie sich auf eine Zahl festlegen — es ist ein einziger Benchmark, und er entscheidet die Frage.

Die Leerlaufstunden, die Sie trotzdem bezahlen

Alles oben ging davon aus, dass die Last gleichmäßig über den Monat verteilt ist. Das ist sie nie. Eine monatlich gemietete Maschine wird auch sonntags um 04:00 Uhr bezahlt, und die Token, die Sie dann nicht generiert haben, werden nicht nachgetragen. Teilen Sie die Woche, in der Sie tatsächlich bedienen, durch die Woche, für die Sie tatsächlich bezahlen:

In der dritten Zeile leben die meisten internen Tools, und sie vervielfacht Ihren Break-even still um mehr als das Vierfache. Das ist der mit Abstand häufigste Grund, warum eine Self-Hosting-Schätzung sich als falsch erweist — nicht der Token-Preis, nicht die Hardware, sondern die Annahme, dass eine Arbeitswoche eine ganze Woche ist.

Warum Ihr Prompt fast kostenlos ist

Eine Asymmetrie spricht deutlich für den Besitz der Maschine, und kein Preis-pro-Token-Vergleich zeigt sie. Eine API berechnet Ihnen Eingabe-Token — meist ein Viertel bis ein Drittel des Ausgabepreises, pro Token. Auf Ihrer eigenen GPU werden Eingabe-Token im Prefill-Durchlauf verarbeitet, der den gesamten Prompt parallel behandelt und durch Rechenleistung begrenzt ist, nicht durch Speicherbandbreite. Prefill läuft um eine Größenordnung schneller in Token pro Sekunde als die Generierung.

Was die Rechnung auslässt

Vier Dinge, die in keiner Kosten-pro-Token-Tabelle auftauchen und die die Frage mindestens so oft entscheiden wie die Zahlen.

Auf welcher Seite Sie stehen

Der Reihe nach, und halten Sie bei der ersten an, die auf Sie zutrifft.

1. Sie brauchen die Qualität eines geschlossenen Frontier-Modells. Dann gilt dieser Artikel nicht für Sie: Diese Gewichte vermietet Ihnen niemand. Nutzen Sie die API, und kommen Sie zurück, wenn ein offenes Modell die Lücke bei Ihrer konkreten Aufgabe schließt.
2. Ihr Volumen ist niedrig, oder Sie kennen es noch nicht. Nutzen Sie die API. Das ist der günstigste Weg herauszufinden, wie Ihr Traffic tatsächlich aussieht, und der Zähler ist ein durchaus brauchbares Messinstrument.
3. Ihr Traffic ist spitzenlastig und verträgt eine Warteschlange. Nutzen Sie die API, oder teilen Sie es auf: Ihre eigene Maschine für die gleichmäßige Grundlast, ein gehosteter Endpunkt für die Spitzen. Nichts zwingt zu einer Entscheidung, die nur in eine Richtung geht.
4. Sie fahren echtes, gebatchtes Volumen gegen ein Open-Weight-Modell. Das ist der Fall, in dem die Hardware gewinnt, und zwar deutlich — der Festpreis bleibt stehen, während der Zähler weiterläuft. Prüfen Sie Ihre eigene Zahl in der Tabelle oben, bevor Sie es glauben.
5. Die Prompts sind sensibel, das Modell darf sich nicht ändern, oder die Kosten müssen im Voraus feststehen. Dann ist die Rechnung nur noch Formsache. Mieten Sie die Maschine, die Ihr Modell hält, und bezahlen Sie dafür ohne jemandem zu sagen, wer Sie sind.

Bei welcher Zeile Sie auch stehen geblieben sind: Die zu prüfende Zahl steht in der Break-even-Tabelle für Ihr Modell und Ihr Volumen. Der Konfigurator zeigt für jeden Knoten, den wir vermieten, ob Ihr Modell auf eine einzelne Karte passt, aufgeteilt werden muss, und wie hoch die Durchsatzschätzung ist — alles, was diese Rechnung braucht. Wenn Sie noch zwischen monatlicher Miete und stundenweiser Abrechnung schwanken, ist das ein anderer Break-even, und der ist ebenfalls durchgerechnet.