サイジングガイド・10分で読了

# 混合エキスパートに本当にかかる費用。

「235B-A22B」のような名前には2つの数字が含まれており、ほとんどの人はどちらか誤った方を読み取ってしまいます。一方は何を借りるべきかを決め、もう一方は応答の速さを決めます。両者は10倍もの差になることがあります。

簡潔な答え

- **総パラメータ数がマシンを決める:** **DeepSeek V3 671B-A37B (MoE)**は4-bitで8kのコンテキストなら**386 GB**を必要とします。*アクティブ*パラメータ相当のサイズの密なモデルであれば22 GBで済み—**17.6×**少なく済みます。
- **アクティブパラメータ数が速度を決める:** 1トークンごとに読み出されるのは重みのごく一部だけであるため、同じ質量の密なモデルよりも高速に生成します—しかし、その優位性の大部分は、ルーティングによってそのまま持って行かれてしまいます。
- **それを収容できる最安のノード:** [8 × NVIDIA A100 PCIe](https://gpuserver.io/ja/gpu/a100-80gb)は月額**$7,906**。借りるべき一台になることはまずありません。
- **レンタルする価値があるのはどれか:** [4 × NVIDIA B200 SXM6](https://gpuserver.io/ja/gpu/b200)は**$11,790**—価格は1.5×に、スループットは2.8×になります。

## 要点

混合エキスパートは、各層のフィードフォワード部分を多数の小さなネットワークに分割し、どのトークンもそのうちごく少数だけを通過させます。公表されるモデル名は、この2つの事実、すなわちパラメータの総数と、1トークンごとにアクティブになる数の両方を記録したものです。*前者はすべてメモリに保持しなければならず、後者はトークンごとに読み出すだけで済みます。*このガイドの内容はこの一文に尽きており、これを取り違えることは、発注前にお客様が犯す中で最も高くつく間違いです。

その結果生まれるのは、奇妙な費用構造を持つモデルです。レンタル費用は巨大モデル並みなのに、動作は中規模モデル並みです。それがお買い得なのか、それとも罠なのかは、2つの数字のうちどちらがボトルネックになるか次第で完全に決まります。

**マシンのサイズを決めたいですか？**使うべきは総パラメータ数です。次のトークンにどのエキスパートが必要になるかは事前にわからないため、すべてのエキスパートをメモリに常駐させる必要があります。ルーティングはトークンごとに、実行時に決まります。

**速度を見積もりたいですか？**まずアクティブパラメータ数を起点とし、そこから大きく割り引いて見積もります。生成時に読み出されるのはアクティブな重みだけであり、それこそが要点です。ただし、ルーター、エキスパートへの振り分け、カード間の通信はタダではなく、ノード全体ではスケールが大きく悪化します。

**長いコンテキストや多数のユーザーに対応しますか？**見るべきはパラメータ数ではなく、アテンションの設計です。このページで最も大きいモデルほど、1トークンあたりのkey/valueキャッシュは*最小*であり、ある長さを超えると、この順位は完全に逆転します。

**とにかく品質が欲しいだけですか？**1枚のカードに収まる密なモデルは、8枚に分割された混合エキスパートよりも、運用が簡単で、安く、高速です。MoEを選ぶべきなのは、密なモデルではどうしても必要な答えが得られない場合であり、名前が立派に見えるからではありません。

以下の計算式は、[コンフィギュレーター](https://gpuserver.io/ja/configure)が同じカタログに対して実行しているものと同じです。モデルがそもそもどれだけのメモリを必要とするか、まだ把握していない場合に先に必要なのは[その計算式](https://gpuserver.io/ja/guides/vram-sizing)です。このページが扱うのは、モデルが混合エキスパートになった場合に変わる部分です。

## 名前の読み方

現在、3つの命名規則が使われており、そのすべてが同じ2つの数字を符号化しているために、混乱がなくなりません。それらを読み解けさえすれば、サイジングの問題はおのずと解決します。

235B-A22B 総数、次にアクティブ数 3つの命名規則の中で最も明快なものです。2350億のパラメータがメモリ上に存在し、そのうち220億が任意のトークンに対して読み出されます。文字Aは*アクティブ*を意味し、これは何を借りるべきかを**教えてくれない**方の数字です。

671B-A37B 同じ命名規則で、より大きく この規模になると、その差は意図的なまでに極端になります。アクティブパラメータの割合は6%を切ります。必要になるマシンの構成は、この37という数字からは何も導き出せません。

8×22B エキスパート数、次にエキスパートのサイズ 3つの中で最も古い命名規則であり、最も誤解を招きやすいものでもあります。これは1760億パラメータを意味するわけではありません。アテンションと埋め込み層は複製されるのではなく共有されているからです。かといって220億を意味するわけでもありません。1トークンあたりでアクティブになるエキスパートは1つではなく2つだからです。

A22B, A37B 平均であって、保証ではない アクティブパラメータ数が表しているのは、典型的なテキストにおけるルーティングの実費です。これは上限ではありません。トークンがたまたま多数のエキスパートに分散するバッチは、モデルのより広い範囲に触れることになり、これが実測スループットが計算値を下回る理由の1つです。

**当社のサイジングカタログに含まれる混合エキスパートモデル、総パラメータ数とアクティブパラメータ数の対比**

| モデル | 総パラメータ数 | トークンあたりのアクティブパラメータ数 | アクティブパラメータの割合 |
|---|---|---|---|
| Mixtral 8×22B (MoE) 56層 | 141 B | 39 B | 28 % |
| Qwen 3 235B-A22B (MoE) 94層 | 235 B | 22 B | 9 % |
| DeepSeek V3 671B-A37B (MoE) 61層 | 671 B | 37 B | 6 % |
| Llama 3.3 70B 比較用の密なモデル | 70 B | 70 B | 100 % |

覚えておくべきは最後の列です。密なモデルは保持しているものすべてを読み出しますが、混合エキスパートはその一部だけを読み出します。これらのモデルにまつわる奇妙な点はすべて—良い面も悪い面も—この一行から生まれています。

## 実際にレンタルすることになるメモリ量

この落とし穴の全体を1つの表にまとめました。中央の列はモデルがマシン上で実際に必要とする量、その次の列はアクティブ数の数字をそのまま鵜呑みにした読者が見積もっていたであろう量です。最後の列は、その読み違いの代償です。

**4-bitで8kのコンテキストの場合に必要なVRAMと、アクティブパラメータ数から示唆される量との対比**

| モデル | 4-bitでの重み | 必要な総量 | アクティブサイズだった場合 | 超過倍率 |
|---|---|---|---|---|
| Mixtral 8×22B (MoE) | 71 GB | 83 GB 8kで | 24 GB | 3.4× |
| Qwen 3 235B-A22B (MoE) | 118 GB | 137 GB 8kで | 14 GB | 9.5× |
| DeepSeek V3 671B-A37B (MoE) | 336 GB | 386 GB 8kで | 22 GB | 17.6× |

最後の列は、買い物の見誤りとして読んでください。アクティブ数だけでサイズを決めた人は、カード1枚を探しに行き、結局ノード1台まるごとが必要だったと気づくことになります—少し大きいマシンで済む話ではなく、カテゴリそのものが違うマシンであり、価格帯もまるで違います。

**いいえ、使われていないエキスパートをディスクに置いたままにすることはできません。** これは誰もが最初に思いつく発想であり、推論スタックの側でも実際に提供されています。問題は、ルーティングがトークンごとに決まることです。必要になるエキスパートの組み合わせは生成される単語ごとに何度も変わるため、その一部だけを保持するカードは、計算ではなくPCIe経由の重みのフォールト処理に時間を費やすことになります。結果は、少し遅いモデルではなく、本来の速度のごく一部でしか動かないモデルです。オフローディングは、保持しきれないマシンの上でモデルを*動かす*ための手段であって、それを*提供する*ための手段ではありません。

## アクティブパラメータ数が買ってくれるもの

生成の速度を制限するのはメモリ帯域幅です。新しいトークンを1つ生成するたびに、それに関与する重みを読み直す必要があります。混合エキスパートはアクティブなスライスだけを読み出すため、速度の上限はモデルのサイズが示唆するよりもずっと小さな数字で決まります。この点についての謳い文句は事実であり、だからこそこれらのモデルはそもそも存在する意味があるのです。

下の表は、すべてのモデルを*同一の*マシン上で比較しています—月額$7,906の[8 × NVIDIA A100 PCIe](https://gpuserver.io/ja/gpu/a100-80gb)、これは当社カタログの中で、すべてのモデルを一度に収容できる最安のノードです。異なるマシンで取得したスループットの数字同士を比較しても、何の意味もありません。

**1ノードでのシングルストリーム生成、混合エキスパート対密なモデル**

| モデル | 総数 | トークンあたりの読み出し量 | 推定トークン/秒 |
|---|---|---|---|
| DeepSeek V3 671B-A37B (MoE) 混合エキスパート · 8枚のカードに分割 | 671 B | 18.5 GB | 37 1ストリーム |
| Llama 3.1 405B 密なモデル · 8枚のカードに分割 | 405 B | 202.5 GB | 19 1ストリーム |
| Qwen 3 235B-A22B (MoE) 混合エキスパート · 8枚のカードに分割 | 235 B | 11.0 GB | 62 1ストリーム |
| Mixtral 8×22B (MoE) 混合エキスパート · 8枚のカードに分割 | 141 B | 19.5 GB | 35 1ストリーム |
| Llama 3.3 70B 密なモデル · 1枚のカードで | 70 B | 35.0 GB | 25 1ストリーム |

比較する価値があるのは、最大の混合エキスパートと最大の密なモデルという2つの行です。どちらもノード全体に分割されているからです。混合エキスパートの方が大幅に大きなモデルでありながら、生成はなお高速です。1トークンごとに自身のごく一部しか読み出さないためであり—これこそ、このアーキテクチャが存在する理由となっているトレードオフです。*1枚のカードで*と記された行は、別の意味に読んでください。それらのモデルはノード内のカード1枚だけを占有し、残り7枚を空けたままにしています。これは低速なマシンではなく、選ばれるのを待っている安価なマシンだということです。

**これらの数字にはすでに大きなペナルティが織り込まれていますが、それは意図的なものです。** 純粋にアクティブパラメータ数だけで計算すると、混合エキスパートの速度を大きく高く見積もりすぎてしまいます。このガイドの見積もり式の最初のバージョンはまさにそれをやってしまい、このページで最大のモデルについて、公表されている実測値との差が5倍近くにも達していました。ルーティングにはそれ自体の処理コストがかかり、エキスパート同士は各層でカード間のアクティベーションをやり取りする必要があり、さらにバッチは平均が示唆するよりも多くのエキスパートにまたがって広がります。現在の見積もり式は、恣意的にではなく実測値に基づいて較正した、意図的に控えめな補正を適用しています—だからこそ、高めではなく低めの数字になります。ここに示す数字はすべて、計画の目標値ではなく、実機で上回るべき下限値として扱ってください。

この計算が隠しているもう1つの事実は、混合エキスパートはうまく分割するのが難しいということです。密なモデルをカードに分割した場合、同期は層ごとに1回で済みますが、混合エキスパートではさらに、選ばれたエキスパートを保持しているカードへトークンをルーティングする必要があり、これは異なる、より予測しづらいトラフィックパターンになります。これは数少ない、[インターコネクトが単なる請求項目ではなく、その価格に見合う働きを本当にする](https://gpuserver.io/ja/guides/nvlink-vs-pcie)ワークロードの1つです。

## 安くなる方の半分

ここまでは、大きなモデルにとって悪い話ばかりでした。ここからはその埋め合わせであり、しかもほとんどの比較記事が触れない大きなものです。このページで最もパラメータ数が多いモデルほど、1トークンあたりのkey/valueキャッシュが*最も小さい*のです。キャッシュの大きさを決めるのはアテンションの設計、つまり層数、key/valueヘッド数、ヘッド次元であり、アテンションの背後にいくつのエキスパートが控えているかとは無関係です。

**トークンあたりのkey/valueキャッシュと、コンテキスト長ごとの1ストリームあたりのコスト**

| モデル | トークンあたりのキャッシュ | 4k | 8k | 32k | 128k |
|---|---|---|---|---|---|
| Mixtral 8×22B (MoE) 8個のKVヘッド | 224 KiB | 0.9 GB | 1.8 GB | 7.0 GB | 28.0 GB |
| Qwen 3 235B-A22B (MoE) 4個のKVヘッド | 188 KiB | 0.7 GB | 1.5 GB | 5.9 GB | 23.5 GB |
| DeepSeek V3 671B-A37B (MoE) 潜在アテンション | 70 KiB | 0.3 GB | 0.5 GB | 2.2 GB | 8.8 GB |
| Llama 3.3 70B 8個のKVヘッド | 320 KiB | 1.3 GB | 2.5 GB | 10.0 GB | 40.0 GB |
| Llama 3.1 405B 8個のKVヘッド | 504 KiB | 2.0 GB | 3.9 GB | 15.8 GB | 63.0 GB |

それらの列は*同時リクエスト*ごとの値です。エンドポイントを同時に使う人数を掛け合わせれば、最後の列の順位の方が、重みそのものよりもはるかに大きく、選ぶべきマシンを左右することになります。

**DeepSeek V3 671B-A37B (MoE)はリストの中で最も小さいキャッシュを持ち、1トークンあたり70 KiBです。** 320 KiBのLlama 3.3 70Bと比べると、これは**4.6×**倍もの差であり、しかも大きい方のモデルが有利な方向です。これは、キーとバリューをヘッドごとに保存する代わりに、小さな共有の潜在ベクトルに投影してキャッシュを圧縮しているためです。つまり、読み込みに最も費用がかかるモデルこそが、稼働させ続ける費用が最も少ないモデルであり—だからこそ長いコンテキストでも扱いやすく、そして一握り以上の人数にサービスを提供し始めた途端に、この計算は逆転するのです。

実務的に読み解けば、重みは固定の入場料であり、キャッシュはランニングコストです。混合エキスパートは、莫大な入場料を取ったうえで、ユーザー1人あたりのランニングコストはわずかです。同程度の能力を持つ密なモデルはその逆になります。どちらが安上がりかは、モデルカードに書かれたパラメータ数ではなく、同時実行数とコンテキスト長によって決まります。

## どのマシンなら収容できるか

4-bitで、基準となるコンテキスト長を用い、各モデルを収容できる当社カタログ内の最安のノードを採用しています—1枚のカードに収まる場合も、ノード全体に分割される場合も同様です。これらは推奨構成ではなく、あくまで最低ラインであり、その理由は次の節で説明します。

**各混合エキスパートモデルを収容できる、当社が貸し出している最安の構成**

| モデル | 必要量 | それを収容できる最安のノード | 月額 | トークン/秒 |
|---|---|---|---|---|
| Mixtral 8×22B (MoE) | 83 GB | [4 × NVIDIA L4](https://gpuserver.io/ja/gpu/nvidia-l4) 合計96 GB・カードあたり24 GB | $564 | 4 |
| Qwen 3 235B-A22B (MoE) | 137 GB | [8 × NVIDIA L4](https://gpuserver.io/ja/gpu/nvidia-l4) 合計192 GB・カードあたり24 GB | $1,106 | 10 |
| DeepSeek V3 671B-A37B (MoE) | 386 GB | [8 × NVIDIA A100 PCIe](https://gpuserver.io/ja/gpu/a100-80gb) 合計640 GB・カードあたり80 GB | $7,906 | 37 |

このいずれもがマルチカードのノードであり、それがこのページの偽らざる要点です。当社カタログには、アクティブ数がどれほど小さく見えようとも、これらのモデルのいずれかをカード1枚で収容できるものはありません。残りの構成は[カタログ全体](https://gpuserver.io/ja/#catalog)に掲載されており、[コンフィギュレーター](https://gpuserver.io/ja/configure)ならモデルとコンテキストに対して同じチェックを実行できます。

## 最安のノードが正解とは限らない

収まるかどうかは目標ではなく、足切りの基準に過ぎません。モデルがノードに分割された時点で、スループットを決めるのは分割先のカードのメモリ帯域幅です—そして同じメモリの基準を満たす構成同士であっても、ドルあたりの帯域幅は2倍以上変わります。以下は、DeepSeek V3 671B-A37B (MoE)を収容できるすべてのノードを価格順に並べたものであり、本当に重要な列は右端です。

**DeepSeek V3 671B-A37B (MoE)を収容できるすべてのノードと、1トークン/秒あたりの月額料金**

| 構成 | VRAM | 月額 | トークン/秒 | $/トークン/秒 |
|---|---|---|---|---|
| [8 × NVIDIA A100 PCIe](https://gpuserver.io/ja/gpu/a100-80gb) GN-A10080×8 | 640 GB | $7,906 | 37 | $213.68 |
| [8 × NVIDIA A100 SXM4](https://gpuserver.io/ja/gpu/a100-sxm4) GN-A100SXM×8 | 640 GB | $8,355 | 39 | $214.23 |
| [4 × NVIDIA H200 SXM5](https://gpuserver.io/ja/gpu/h200) GN-H200×4 | 564 GB | $8,405 | 62 | $135.56 |
| [8 × NVIDIA H100 PCIe](https://gpuserver.io/ja/gpu/h100-pcie) GN-H100PCIE×8 | 640 GB | $10,568 | 38 | $278.11 |
| [8 × NVIDIA H100 SXM5](https://gpuserver.io/ja/gpu/h100-sxm5) GN-H100SXM×8 | 640 GB | $11,509 | 64 | $179.83 |
| [4 × NVIDIA B200 SXM6](https://gpuserver.io/ja/gpu/b200) GN-B200×4 | 720 GB | $11,790 | 103 | $114.47 |
| [8 × NVIDIA H200 SXM5](https://gpuserver.io/ja/gpu/h200) GN-H200×8 | 1128 GB | $15,945 | 91 | $175.22 |
| [8 × NVIDIA B200 SXM6](https://gpuserver.io/ja/gpu/b200) GN-B200×8 | 1440 GB | $22,351 | 152 | $147.05 |

緑色のセルはリスト中で最も割のよい選択であり、最安の行ではありません。$7,906から$11,790に切り替えると、請求額は1.5×倍になりますが、スループットは2.8×倍になります—支払いは増えても、トークン単価はむしろ下がるのです。カタログを価格順に並べ、最初に条件を満たすマシンを選ぶというやり方は、予算を二重に使ってしまう典型的な原因です。

この列について1つ留保があり、それはこの先読むことになるあらゆる価格対スループットの表に当てはまります。この列はシングルストリーム生成の値だということです。連続バッチ処理のもとでは、合計値はどの行でも数倍に跳ね上がりますが、その倍率は行ごとに同じではありません—重みの後に残るメモリが多いノードほど、より多くの同時実行シーケンスを保持できるからです。順位は安定していますが、絶対値は控えめな値です。[この合計値の経済性](https://gpuserver.io/ja/guides/api-vs-self-hosting)については別途扱います。

## 混合エキスパートが正解になるとき

順番に並んでいます。当てはまる最初の行で止めてください。

1. **1枚のカードに収まる密なモデルで十分な場合。**それを選び、振り返る必要はありません。カード1枚であれば、シャーディングも、インターコネクトの検討も、エキスパートルーティングのトラフィックも発生せず、マシンの費用はノード1台のごく一部で済みます。フロンティアのオープンモデルが必要だと考えているプロダクトのほとんどは、実際には優れた32Bモデルで十分です。
2. **品質が必要で、なおかつコンテキストが長い場合。**ここでは、混合エキスパートが文字通り最良の選択肢になります。重みの費用は一度だけ支払えばよく、キャッシュが小さいおかげで、長い会話を扱ってもマシンが破綻しません。ノードのサイズは重みを基準に決め、実際のコンテキストについてはキャッシュの表で確認します。
3. **品質が必要で、なおかつ同時に多くの人にサービスを提供する場合。**答えも理由も同じであり、同時実行数が増えるほど有利になります。固定費用はすべてのストリームに償却され、ストリームあたりの費用は低いまま保たれます。
4. **品質は必要だが、それがときどきでよい場合。**その場合、週に数時間だけ温めておくために大きなノードを借りることになり、月単位の契約として最悪の使い方です。作業をバッチにまとめて一度に済ませるか、この用途にはホスト型のエンドポイントを使い、自前のマシンは安定した負荷のために取っておくべきです。
5. **ファインチューニングをしたい場合。**それは別の問題であり、必要なマシンも大きくなります。学習ではすべてのエキスパートに触れ、その全部についてオプティマイザの状態を保持する必要があるため、推論では厄介だった程度のメモリでは済まなくなります。密なモデルに対する[アダプターのファインチューニング](https://gpuserver.io/ja/guides/lora-finetune)が、ほとんどの人にとって現実的な選択肢です。

どの行で止まったとしても、最初に確認すべき数字は、実際に提供する精度における総パラメータ数です。このページのそれ以外の要素—速度、キャッシュ、トークン/秒あたりの価格—は、モデルがメモリに常駐して初めて意味を持ちます。[コンフィギュレーター](https://gpuserver.io/ja/configure)は、当社が貸し出しているすべてのノードに対してこの確認を一通り実行し、上の各表と同じルーティング補正をスループットの見積もりに適用します。まずメモリの計算を丸ごと確認したい場合は[それ専用のガイド](https://gpuserver.io/ja/guides/vram-sizing)があり、数値形式をまだ決めていない場合は、[その選択はこちらより先に検討すべきもの](https://gpuserver.io/ja/guides/awq-vs-gptq-vs-fp8)です。

## 混合エキスパートモデルを実機の構成と照らし合わせて確認できます。

コンフィギュレーターには当社が貸し出しているすべてのノードが登録されており、このページと同じ計算式を適用して、支払いが発生する前にどのノードがモデルを収容できるかを教えてくれます。

[コンフィギュレーターを開く](https://gpuserver.io/ja/configure) [ガイドを読む](https://gpuserver.io/ja/guides)

## その他のガイド

- [コスト · 6分 月額レンタルが時間貸しに勝つのはどんな時か 実際の数字で算出した損益分岐点、時間単価が請求書が来るまで隠している3つのコスト、そして見積もりを3倍に膨らませるアイドル時間の落とし穴。 ガイドを読む](https://gpuserver.io/ja/guides/monthly-vs-hourly)
- [コスト · 9分 セルフホスティングとトークン課金APIの比較 トークン課金APIとGPUレンタルの損益分岐点を、自社の価格とスループットで算出。そして、その計算が見落としている4つの要素。 ガイドを読む](https://gpuserver.io/ja/guides/api-vs-self-hosting)
- [実践 · 11分 Llama 3.3 70Bを1ノードで提供する 納品されたマシンから、OpenAI互換エンドポイントまで。重要なフラグと、気づかぬうちにスループットを半減させる2つのフラグを解説します。 ガイドを読む](https://gpuserver.io/ja/guides/serve-llama-70b)

---

出典: https://gpuserver.io/ja/guides/mixture-of-experts/。このファイルはウェブサイトと同じデータから生成されています。ここに記載された数値がページの内容と異なる場合、ページの内容が正となり、このファイルは古い情報です。正式な出典はhttps://gpuserver.io/です。