• 本文
• リロード
• 差分
• バックアップ
• 名前変更
• リファラ
• 新規ページ
• 編集

LLM

MoE

Top / MoE

Mixture of Experts

元論文

• Adaptive Mixture of Local Experts (1991)

2017

• Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer
• Shazeer
• https://arxiv.org/abs/1701.06538
• Sparse Mixture-of-Experts (MoE) 構造の有効性を初めて大規模な深層ニューラルネットワーク上で実証

構造

ゲート

• 入力データに対して、どのエキスパート・ネットワークが正しい推論をしそうか、エキスパート・ネットワークを取捨選択するための推論

エキスパート

• 推論
• FFN

モデル

• gpt-oss
• Qwen3
  • Qwen3-235B-A22B
  • Qwen3-30B-A3B

• Mixtral 8x7B

構造

完全MoEモデル

• 全レイヤがMoE構造を持つモデル
• Grok

ハイブリッドMoEモデル

• 最初の数層は通常のFFN、残りの層がMoE構造を持つモデル
• DeepSeek
• GLM4_MOE?

サーベイ

• https://github.com/withinmiaov/A-Survey-on-Mixture-of-Experts-in-LLMs

参考

• https://www.ibm.com/jp-ja/think/topics/mixture-of-experts
• https://developer.nvidia.com/ja-jp/blog/applying-mixture-of-experts-in-llm-architectures/