最終更新:2024-04-05 (金) 10:54:04 (43d)  

LLM/モデル
Top / LLM / モデル

形式

GGUF/ggml

Transformers

  • しばらく前から存在しており、AI モデルのほぼ普遍的な標準ですが、そのモデルは消費者向けハードウェアで実行するために最適化されておらず、必要以上に多くのリソースを使用します。
  • およそ、GGUF の平均的な 7B モデルには 4GB 以上の RAM が必要ですが、Transformers の 7B モデルには 16GB 以上が必要になる可能性があります。

GPTQ

関連

参考