最終更新:2024-05-09 (木) 13:07:37 (42d)  

ggml
Top / ggml

Tensor library for machine learning

https://github.com/ggerganov/ggml

メモ

量子化

  • q4_0?
  • q4_1?
  • q5_0?
  • q5_1?
  • q8_0?
  • q2_K?
  • q3_K_S?
  • q3_K_M?
  • q3_K_L?
  • q4_K_S?
  • q4_K_M?
  • q5_K_S?
  • q5_K_M?
  • q6_K?

メモ

  • K: k-quantメソッドなる新方式による量子化モデル

参考

変換済みGGUF

関連