最終更新:2024-04-05 (金) 10:54:04 (41d)
LLM/モデル
形式
GGUF/ggml
Transformers
- しばらく前から存在しており、AI モデルのほぼ普遍的な標準ですが、そのモデルは消費者向けハードウェアで実行するために最適化されておらず、必要以上に多くのリソースを使用します。
- およそ、GGUF の平均的な 7B モデルには 4GB 以上の RAM が必要ですが、Transformers の 7B モデルには 16GB 以上が必要になる可能性があります。