最終更新:2025-08-19 (火) 01:04:04 (414d)  

LM Studio/設定
Top / LM Studio / 設定

Force Model Expert Weights onto CPU

  • LM Studio 0.3.23のBuild 3
  • MoEの使うエキスパートだけをRAMからVRAMにコピーする事により省メモリ化
↑

Flash Attention

  • Attenstion機構?の計算方法を最適化することでメモリ使用量を削減し、生成速度を向上させる効率的な実装
  • LM Studio 0.2.22?
↑

参考




検索：