• 本文
• リロード
• 差分
• バックアップ
• 名前変更
• リファラ
• 新規ページ
• 編集

LLM

LLM/量子化

Top / LLM / 量子化

Qx - xビット量子化

フォーマット

llama.cpp形式 (形式:GGUF/ライブラリ:ggml)

• https://note.com/bakushu/n/n1badaf7a91a0

メモ

• q5_K_Mがバランスがよさそう

メモ

• Kのついたものが「k-quant?メソッド」なる新方式による量子化モデル
  • K
  • K_S
  • K_M
  • K_L

• Q4
  • Q4_K_S?
  • Q4_K_M (推奨)
• Q5
  • Q5_K_S? (推奨)
  • Q5_K_M? (推奨)

GPTQ

TheBloke

• https://huggingface.co/TheBloke

メモ

• GPTQ

関連

• ggml
• GGUF
• LLM/モデル

参考

• https://github.com/ggerganov/llama.cpp/pull/1684#issuecomment-1579252501
• https://note.com/bakushu/n/n1badaf7a91a0