• 本文
• リロード
• 差分
• バックアップ
• 名前変更
• リファラ
• 新規ページ
• 編集

llama.cpp/設定

--n-cpu-moe

Top / --n-cpu-moe

keep the Mixture of Experts (MoE) weights of the first N layers in the CPU

メモ

• CPU処理	最初のN層のMoE重みがCPUで処理される
  GPU処理	N層以降のMoE重みはGPUで処理される
  RAM配置	指定層のMoE重みがRAMに配置される
  VRAM配置	残りの層のMoE重みがVRAMに配置される
  データコピー	CPU層とGPU層間で中間結果の転送が発生する

LM Studio

• Force Model Expert Weights onto CPU