• 本文
• リロード
• 差分
• バックアップ
• 名前変更
• リファラ
• 新規ページ
• 編集

LLM

LLM/モデル

Top / LLM / モデル

形式

GGUF/ggml

Transformers

• しばらく前から存在しており、AI モデルのほぼ普遍的な標準ですが、そのモデルは消費者向けハードウェアで実行するために最適化されておらず、必要以上に多くのリソースを使用します。
• およそ、GGUF の平均的な 7B モデルには 4GB 以上の RAM が必要ですが、Transformers の 7B モデルには 16GB 以上が必要になる可能性があります。

GPTQ

関連

• LLM/量子化
• LLM/VRAM

参考

• https://github.com/Crataco/ai-guide/blob/main/guide/models.md