トップ混合専門家（MoE）モデル：比較解説

混合専門家（MoE）の概要
MoEの主なメリット
2025年の最先端MoEモデル
主要なMoEモデルへのアクセス方法

混合専門家（MoE）は、現在の大規模言語モデルのスケーリングにおいて最も重要な設計選択の1つとして急速に台頭しています。MoEはトークンごとにすべてのパラメータを活性化するのではなく、少数の専門家モジュールに入力を選択的にルーティングすることで、効率性と大規模なモデル容量のバランスを取ります。このアーキテクチャの変化により、開発者は推論コストを管理可能な範囲に抑えつつ、数千億規模のパラメータを持つモデルを構築できるようになりました。

本記事では、MoEの基礎を紹介し、主要なMoEモデル間のアーキテクチャの違いを明らかにし、実際にこれらのモデルにアクセスする方法を解説します。

混合専門家（MoE）の概要

混合専門家（MoE）は、AIモデルを複数のサブネットワーク（通称「専門家」）に分割する機械学習手法です。各専門家は入力データの特定の部分を処理するように訓練され、連携してタスクを達成します。MoEはゲーティング機構とともに一連の専門用モデルを使用し、各入力を処理する最も適切な「専門家ネットワーク」を動的に選択します。

MoEの仕組み

1. ゲーティングネットワーク（ルーター）
MoEの核心となるのはゲーティングネットワークで、各入力トークンを処理する専門家を決定します。ルーターはすべてのトークンをすべての専門家に送信するのではなく、最も関連性の高い専門家を選択的に活性化することで、効率性と専門性の両方を確保します。

2. MoEとDenseの比較

**MoE（混合専門家）**は、ゲートによって選択された少数の専門家のサブセットを各トークンが通過するように動作します。このアプローチにより、実際の計算コストを抑えつつモデルの全体容量を大幅に拡張できます。異なる専門家が異なる入力パターンに特化することで、計算リソースを線形にスケールさせることなく、複雑なタスクでより高い性能を発揮します。

対照的に、Denseモデルはすべてのトークンをすべての専門家またはレイヤーに送信するため、設計は単純ですが計算コストが高くなります。重要な違いは、MoEが選択的活性化によって効率性を高めるのに対し、Denseモデルはすべての入力に対して完全な活性化に依存する点です。

MoE

Dense

参考：『大規模言語モデルにおける混合専門家の調査』（参照：https://arxiv.org/abs/2407.06204）

MoEの主なメリット

MoEは独自のメリットから、最先端のAIシステムにおける主流の設計選択となっています：

計算コストを抑制した大容量：スパースMoEは、計算需要の増加に比例せずにモデルのパラメータを大幅にスケールアップできます。この設計は条件付き計算の原則に従っており、リソースは必要な場合にのみ割り当てられるため、同じ計算コストでDenseモデルよりもはるかに大容量のモデルを学習することが可能です。
専門家の特化：異なる専門家は自然に異なるパターンやタスクに特化するため、幅広い入力に対して性能が向上し、大規模LLMでより豊富な機能を実現します。
学習・推論の効率性：スパースMoEはトークンごとに少数の専門家のみを活性化するため、Denseモデルの重いオーバーヘッドを削減し、大規模な学習クラスタでのリソース利用率を向上させます。
実用的なデプロイシナリオ：スパースMoEは多数のマシンを利用できる高スループット環境で特に効果を発揮し、固定の計算予算でより最適な結果を提供します。Denseモデルは単純さから小規模デプロイに実用的であるため、低スループット環境やVRAMが非常に限られた環境に適している場合があります。
ルーティングの柔軟性：top-1やtop-2ゲーティングなどのルーティング戦略により、スパースMoEは計算効率と表現力のバランスを実現し、異なるワークロードやスケーリング要件に適応できます。

これらのメリットから、MoEが最先端の大規模言語モデルで広く採用されているのは当然と言えます。次のセクションでは、2025年最も影響力のあるMoEベースのモデルをいくつか取り上げ、このアーキテクチャをどのように実装し、恩恵を受けているかを解説します。

2025年の最先端MoEモデル

オープンソースMoEモデルの概要：アーキテクチャ詳細解説


モデル	総パラメータ数	活性化パラメータ数	専門家プールサイズ	トークンごとの活性化専門家数
GPT OSS 120B	116.8B with 36 Layers	5.1B	128	4
GPT OSS 20B	20.9B with 24 Layers	3.6B	32	4
DeepSeek V3.1	671B	37B	256 ルーティング専門家 + 1 共有専門家	8
GLM 4.5	335B	32B	160	8
Kimi K2 0905	1T with 61 Layers	32B	384 ルーティング専門家 + 1 共有専門家	8
Qwen3 Coder	480B with 62 Layers	35B	160	8
Llama 4 Scout	109B	17B	16	未記載

各モデルはアーキテクチャ設計を通じて異なる優先事項を強調しています。

DeepSeek V3.1 と Kimi K2 0905 は、トークンごとに複数の専門家を活性化する非常に大規模な専門家プールを採用しており、この構成は専門性を最大化し、複雑な推論やマルチステップタスクで高い性能を発揮します。
一方、GPT-OSS 120B は中規模の専門家プールと適度な活性化を組み合わせたバランスの取れたアプローチを採用しており、安定性とスケールの両方が求められるエンタープライズアプリケーションに適しています。
GPT-OSS 20B は専門家を少なくした軽量な構成を採用しており、リアルタイムチャットボットやリソースが制限されたデプロイなど、レイテンシとコスト効率が最優先されるシナリオに最適化されています。
Qwen3 Coder はコード関連のタスクを重視し、バランスの取れたMoE構成を採用しています。強力な推論能力と効率的な活性化を組み合わせることで、開発者向けアプリケーションで信頼性の高い性能を提供します。
Llama 4 Scout は小規模な専門家プールと低い活性化負荷によるコンパクトなMoE設計を示しており、低レイテンシやエッジレベルのアプリケーション向けの実用的な選択肢となっています。

これらのバリエーションは、MoE構成が研究規模の探索や高度なエージェントシステムから、軽量で本番環境に対応した推論まで、異なるデプロイ目標に合わせて調整できることを示しています。

しかし、変わらないのは信頼性の高いコンピューティングインフラの需要です。数千億、さらには数兆規模のパラメータを持つモデルを実行するには、高性能なGPUだけでなく、高帯域幅のインターコネクトと最適化されたパイプラインも必要です。ほとんどのチームにとって、これはローカルクラスタの維持の負担を軽減しつつ、最先端のMoE機能へのアクセスを提供するクラウドGPUインスタンスとマネージドAPIサービスを活用する強い動機となります。

主要なMoEモデルへのアクセス方法

ローカルデプロイ


モデル	必要なVRAM（概算）	量子化方式	推奨ハードウェア
GPT OSS 120B	80 GB	MXFP4	H100 x1
GPT OSS 20B	16 GB	MXFP4	RTX 4090 x1
DeepSeek V3.1	1.34 TB	16-bit	H200 8カードクラスタ
GLM 4.5	717 GB	16-bit	H100 x16 / H200 x8
Kimi K2 0905	2.05 TB	16-bit	H100/A100 80GB (x32)
Qwen3 Coder	290 GB	Q4_K_M	A6000 x2
Llama 4 Scout 17B	216 GB	Int4	H100 x1

主要なMoEモデルは大規模なGPU要件を満たせばローカルにデプロイ可能ですが、Novita AIは最適化されたクラウドGPUを提供しており、高コストのインフラ管理の複雑さを排除します。柔軟なオプションを探索し、ワークロードに合ったプランを見つけるには、こちらのPricingページをご覧ください。