• 本文
• リロード
• 差分
• バックアップ
• 名前変更
• リファラ
• 新規ページ
• 編集

LLM

ExLlamaV2

Top / ExLlamaV2

an inference library for running local LLMs on modern consumer GPUs.

https://github.com/turboderp/exllamav2

モデル

• Llama?
• OpenLlama?
• Code Llama
• Llama 2
• TinyLlama

関連

• GPTQ