混合エキスパートに本当にかかる費用。

要点

混合エキスパートは、各層のフィードフォワード部分を多数の小さなネットワークに分割し、どのトークンもそのうちごく少数だけを通過させます。公表されるモデル名は、この2つの事実、すなわちパラメータの総数と、1トークンごとにアクティブになる数の両方を記録したものです。前者はすべてメモリに保持しなければならず、後者はトークンごとに読み出すだけで済みます。このガイドの内容はこの一文に尽きており、これを取り違えることは、発注前にお客様が犯す中で最も高くつく間違いです。

その結果生まれるのは、奇妙な費用構造を持つモデルです。レンタル費用は巨大モデル並みなのに、動作は中規模モデル並みです。それがお買い得なのか、それとも罠なのかは、2つの数字のうちどちらがボトルネックになるか次第で完全に決まります。

以下の計算式は、コンフィギュレーターが同じカタログに対して実行しているものと同じです。モデルがそもそもどれだけのメモリを必要とするか、まだ把握していない場合に先に必要なのはその計算式です。このページが扱うのは、モデルが混合エキスパートになった場合に変わる部分です。

名前の読み方

現在、3つの命名規則が使われており、そのすべてが同じ2つの数字を符号化しているために、混乱がなくなりません。それらを読み解けさえすれば、サイジングの問題はおのずと解決します。

覚えておくべきは最後の列です。密なモデルは保持しているものすべてを読み出しますが、混合エキスパートはその一部だけを読み出します。これらのモデルにまつわる奇妙な点はすべて—良い面も悪い面も—この一行から生まれています。

実際にレンタルすることになるメモリ量

この落とし穴の全体を1つの表にまとめました。中央の列はモデルがマシン上で実際に必要とする量、その次の列はアクティブ数の数字をそのまま鵜呑みにした読者が見積もっていたであろう量です。最後の列は、その読み違いの代償です。

最後の列は、買い物の見誤りとして読んでください。アクティブ数だけでサイズを決めた人は、カード1枚を探しに行き、結局ノード1台まるごとが必要だったと気づくことになります—少し大きいマシンで済む話ではなく、カテゴリそのものが違うマシンであり、価格帯もまるで違います。

アクティブパラメータ数が買ってくれるもの

生成の速度を制限するのはメモリ帯域幅です。新しいトークンを1つ生成するたびに、それに関与する重みを読み直す必要があります。混合エキスパートはアクティブなスライスだけを読み出すため、速度の上限はモデルのサイズが示唆するよりもずっと小さな数字で決まります。この点についての謳い文句は事実であり、だからこそこれらのモデルはそもそも存在する意味があるのです。

下の表は、すべてのモデルを同一のマシン上で比較しています—月額$7,906の8 × NVIDIA A100 PCIe、これは当社カタログの中で、すべてのモデルを一度に収容できる最安のノードです。異なるマシンで取得したスループットの数字同士を比較しても、何の意味もありません。

比較する価値があるのは、最大の混合エキスパートと最大の密なモデルという2つの行です。どちらもノード全体に分割されているからです。混合エキスパートの方が大幅に大きなモデルでありながら、生成はなお高速です。1トークンごとに自身のごく一部しか読み出さないためであり—これこそ、このアーキテクチャが存在する理由となっているトレードオフです。1枚のカードでと記された行は、別の意味に読んでください。それらのモデルはノード内のカード1枚だけを占有し、残り7枚を空けたままにしています。これは低速なマシンではなく、選ばれるのを待っている安価なマシンだということです。

この計算が隠しているもう1つの事実は、混合エキスパートはうまく分割するのが難しいということです。密なモデルをカードに分割した場合、同期は層ごとに1回で済みますが、混合エキスパートではさらに、選ばれたエキスパートを保持しているカードへトークンをルーティングする必要があり、これは異なる、より予測しづらいトラフィックパターンになります。これは数少ない、インターコネクトが単なる請求項目ではなく、その価格に見合う働きを本当にするワークロードの1つです。

安くなる方の半分

ここまでは、大きなモデルにとって悪い話ばかりでした。ここからはその埋め合わせであり、しかもほとんどの比較記事が触れない大きなものです。このページで最もパラメータ数が多いモデルほど、1トークンあたりのkey/valueキャッシュが最も小さいのです。キャッシュの大きさを決めるのはアテンションの設計、つまり層数、key/valueヘッド数、ヘッド次元であり、アテンションの背後にいくつのエキスパートが控えているかとは無関係です。

それらの列は同時リクエストごとの値です。エンドポイントを同時に使う人数を掛け合わせれば、最後の列の順位の方が、重みそのものよりもはるかに大きく、選ぶべきマシンを左右することになります。

実務的に読み解けば、重みは固定の入場料であり、キャッシュはランニングコストです。混合エキスパートは、莫大な入場料を取ったうえで、ユーザー1人あたりのランニングコストはわずかです。同程度の能力を持つ密なモデルはその逆になります。どちらが安上がりかは、モデルカードに書かれたパラメータ数ではなく、同時実行数とコンテキスト長によって決まります。

どのマシンなら収容できるか

4-bitで、基準となるコンテキスト長を用い、各モデルを収容できる当社カタログ内の最安のノードを採用しています—1枚のカードに収まる場合も、ノード全体に分割される場合も同様です。これらは推奨構成ではなく、あくまで最低ラインであり、その理由は次の節で説明します。

このいずれもがマルチカードのノードであり、それがこのページの偽らざる要点です。当社カタログには、アクティブ数がどれほど小さく見えようとも、これらのモデルのいずれかをカード1枚で収容できるものはありません。残りの構成はカタログ全体に掲載されており、コンフィギュレーターならモデルとコンテキストに対して同じチェックを実行できます。

最安のノードが正解とは限らない

収まるかどうかは目標ではなく、足切りの基準に過ぎません。モデルがノードに分割された時点で、スループットを決めるのは分割先のカードのメモリ帯域幅です—そして同じメモリの基準を満たす構成同士であっても、ドルあたりの帯域幅は2倍以上変わります。以下は、DeepSeek V3 671B-A37B (MoE)を収容できるすべてのノードを価格順に並べたものであり、本当に重要な列は右端です。

緑色のセルはリスト中で最も割のよい選択であり、最安の行ではありません。$7,906から$11,790に切り替えると、請求額は1.5×倍になりますが、スループットは2.8×倍になります—支払いは増えても、トークン単価はむしろ下がるのです。カタログを価格順に並べ、最初に条件を満たすマシンを選ぶというやり方は、予算を二重に使ってしまう典型的な原因です。

この列について1つ留保があり、それはこの先読むことになるあらゆる価格対スループットの表に当てはまります。この列はシングルストリーム生成の値だということです。連続バッチ処理のもとでは、合計値はどの行でも数倍に跳ね上がりますが、その倍率は行ごとに同じではありません—重みの後に残るメモリが多いノードほど、より多くの同時実行シーケンスを保持できるからです。順位は安定していますが、絶対値は控えめな値です。この合計値の経済性については別途扱います。

混合エキスパートが正解になるとき

順番に並んでいます。当てはまる最初の行で止めてください。

1. 1枚のカードに収まる密なモデルで十分な場合。それを選び、振り返る必要はありません。カード1枚であれば、シャーディングも、インターコネクトの検討も、エキスパートルーティングのトラフィックも発生せず、マシンの費用はノード1台のごく一部で済みます。フロンティアのオープンモデルが必要だと考えているプロダクトのほとんどは、実際には優れた32Bモデルで十分です。
2. 品質が必要で、なおかつコンテキストが長い場合。ここでは、混合エキスパートが文字通り最良の選択肢になります。重みの費用は一度だけ支払えばよく、キャッシュが小さいおかげで、長い会話を扱ってもマシンが破綻しません。ノードのサイズは重みを基準に決め、実際のコンテキストについてはキャッシュの表で確認します。
3. 品質が必要で、なおかつ同時に多くの人にサービスを提供する場合。答えも理由も同じであり、同時実行数が増えるほど有利になります。固定費用はすべてのストリームに償却され、ストリームあたりの費用は低いまま保たれます。
4. 品質は必要だが、それがときどきでよい場合。その場合、週に数時間だけ温めておくために大きなノードを借りることになり、月単位の契約として最悪の使い方です。作業をバッチにまとめて一度に済ませるか、この用途にはホスト型のエンドポイントを使い、自前のマシンは安定した負荷のために取っておくべきです。
5. ファインチューニングをしたい場合。それは別の問題であり、必要なマシンも大きくなります。学習ではすべてのエキスパートに触れ、その全部についてオプティマイザの状態を保持する必要があるため、推論では厄介だった程度のメモリでは済まなくなります。密なモデルに対するアダプターのファインチューニングが、ほとんどの人にとって現実的な選択肢です。

どの行で止まったとしても、最初に確認すべき数字は、実際に提供する精度における総パラメータ数です。このページのそれ以外の要素—速度、キャッシュ、トークン/秒あたりの価格—は、モデルがメモリに常駐して初めて意味を持ちます。コンフィギュレーターは、当社が貸し出しているすべてのノードに対してこの確認を一通り実行し、上の各表と同じルーティング補正をスループットの見積もりに適用します。まずメモリの計算を丸ごと確認したい場合はそれ専用のガイドがあり、数値形式をまだ決めていない場合は、その選択はこちらより先に検討すべきものです。