• 本文
• リロード
• 差分
• バックアップ
• 名前変更
• リファラ
• 新規ページ
• 編集

機械学習

ggml

Top / ggml

Tensor library for machine learning

https://github.com/ggerganov/ggml

メモ

• PyTorchをC++で書いたようなもの

量子化

• q4_0?
• q4_1?
• q5_0?
• q5_1?
• q8_0?
• q2_K?
• q3_K_S?
• q3_K_M?
• q3_K_L?
• q4_K_S?
• q4_K_M?
• q5_K_S?
• q5_K_M?
• q6_K?

メモ

• K: k-quantメソッドなる新方式による量子化モデル

参考

• https://note.com/bakushu/n/n1badaf7a91a0

関連

• llama.cpp
• whisper.cpp