最終更新:2025-01-23 (木) 07:36:09 (25d)
LLM/モデル
オープン
Meta
Microsoft
Alibaba Cloud
Amazon
Amazon Nova Pro?
サービス
形式
GGUF/ggml
Transformers
- しばらく前から存在しており、AI モデルのほぼ普遍的な標準ですが、そのモデルは消費者向けハードウェアで実行するために最適化されておらず、必要以上に多くのリソースを使用します。
- およそ、GGUF の平均的な 7B モデルには 4GB 以上の RAM が必要ですが、Transformers の 7B モデルには 16GB 以上が必要になる可能性があります。