• 本文
• リロード
• 差分
• バックアップ
• 名前変更
• リファラ
• 新規ページ
• 編集

LLaMA

llama.cpp

Top / llama.cpp

Inference of LLaMA model in pure C/C++

https://github.com/ggerganov/llama.cpp

モデル

• 各種LLMを量子化してローカルで実行できる
• GGUF形式に対応

• llama.cpp requires the model to be stored in the GGUF file format.
• Models in other data formats can be converted to GGUF using the convert_*.py Python scripts in this repo.

コマンド

llama-cli?

• llama-cli -m model.gguf

llama-server?

• llama-server -m model.gguf --port 8080

llama-perplexity?

llama-bench?

llama-run?

llama-simple?

GGUF/変換

• llama.cpp/convert-hf-to-gguf.py

対応モデル

• LLaMA 🦙
• Llama 2 🦙🦙
• Llama 3 🦙🦙🦙
• Mistral 7B
• Mixtral MoE?
• Falcon
• Alpaca
• GPT4All
• Chinese LLaMA? / Alpaca and Chinese LLaMA-2? / Alpaca-2?
• Vigogne? (French)
• Vicuna
• Koala?
• OpenBuddy 🐶 (Multilingual)
• Pygmalion?/Metharme?
• WizardLM
• Baichuan? 1 & 2 + derivations
• Aquila? 1 & 2
• Starcoder? models
• Mistral AI v0.1
• Refact?
• Persimmon 8B?
• MPT
• Bloom?

フロントエンド

• LM Studio
• Ollama
• Text generation web UI

バックエンド

• Backend	Target devices
  Metal	Apple Silicon
  BLAS	All
  BLIS?	All
  SYCL?	Intel and Nvidia GPU
  MUSA?	oore Threads MTT GPU
  CUDA	Nvidia GPU
  HIP	AMD GPU
  Vulkan	GPU
  CANN?	Ascend NPU

速度

• https://github.com/ggerganov/llama.cpp/discussions/4167
• https://www.reddit.com/r/LocalLLaMA/comments/16z3jps/comment/k3f78x7/

Dalai

• Run LLaMA and Alpaca on your computer.

関連

• Alpaca.cpp