• 本文
• リロード
• 差分
• バックアップ
• 名前変更
• リファラ
• 新規ページ
• 編集

LLM

GGUF

Top / GGUF

GPT-Generated Unified Format?

a binary format that is designed for fast loading and saving of models, and for ease of reading.

https://github.com/ggerganov/ggml/blob/master/docs/gguf.md

命名規則

• <BaseName?><SizeLabel?><FineTune?><Version><Encoding><Type><Shard>.gguf
• を-でつないだもの

構造

• https://github.com/ggml-org/ggml/blob/master/docs/gguf.md#file-structure

GGUF/変換

量子化

• q4_0?
• q4_1?
• q5_0?
• q5_1?
• q8_0?
• q2_K?
• q3_K_S?
• q3_K_M?
• q3_K_L?
• q4_K_S?
• q4_K_M?
• q5_K_S?
• q5_K_M?
• q6_K?

メモ

• K: k-quantメソッドなる新方式による量子化モデル

参考

• https://note.com/bakushu/n/n1badaf7a91a0

参考

• https://huggingface.co/TheBloke

関連

• ggml