最終更新:2024-04-10 (水) 13:24:12 (69d)  

llama.cpp
Top / llama.cpp

Inference of LLaMA model in pure C/C++

https://github.com/ggerganov/llama.cpp

メモ

  • 各種LLMを量子化してローカルで実行できる
  • GGUF形式に対応

対応モデル

速度

Dalai

関連