• 本文
• リロード
• 差分
• バックアップ
• 名前変更
• リファラ
• 新規ページ
• 編集

LLaMA

llama.cpp

Top / llama.cpp

Inference of LLaMA model in pure C/C++

https://github.com/ggerganov/llama.cpp

メモ

• 各種LLMを量子化してローカルで実行できる
• GGUF形式に対応

対応モデル

• LLaMA 🦙
• Llama 2 🦙🦙
• Falcon
• Alpaca
• GPT4All
• Chinese LLaMA? / Alpaca and Chinese LLaMA-2? / Alpaca-2?
• Vigogne? (French)
• Vicuna
• Koala?
• OpenBuddy? 🐶 (Multilingual)
• Pygmalion?/Metharme?
• WizardLM
• Baichuan? 1 & 2 + derivations
• Aquila? 1 & 2
• Starcoder? models
• Mistral AI v0.1
• Refact?
• Persimmon 8B?
• MPT
• Bloom?

速度

• https://github.com/ggerganov/llama.cpp/discussions/4167
• https://www.reddit.com/r/LocalLLaMA/comments/16z3jps/comment/k3f78x7/

Dalai

• Run LLaMA and Alpaca on your computer.

関連

• Alpaca.cpp