• 本文
• リロード
• 差分
• バックアップ
• 名前変更
• リファラ
• 新規ページ
• 編集

llama.cpp

Dalai

Top / Dalai

Run LLaMA and Alpaca on your computer.

https://github.com/cocktailpeanut/dalai

搭載

• llama.cpp
• llama-dl CDN?
• Alpaca.cpp

モデル

• 		Full	Quantized
  LLaMA-65B?	npx dalai llama install 65B	432.64GB	40.88GB
  LLaMA-30B?	npx dalai llama install 30B	150.48GB	20.36GB
  LLaMA-13B?	npx dalai llama install 13B	60.21GB	8.14GB
  LLaMA-7B?	npx dalai llama install 7B	31.17GB	4.21GB
  Alpaca-15B?	npx dalai alpaca install 13B		8.14GB
  Alpaca-7B?	npx dalai alpaca install 7B		4.21GB

コマンド

• npx dalai serve?

対応OS

• Linux
• Mac
• Windows

メモリ使用量

• 7B => ~4 GB
• 13B => ~8 GB
• 30B => ~16 GB
• 65B => ~32 GB

メモ

• https://github.com/ItsPi3141/alpaca.cpp
• https://github.com/candywrap/llama.cpp.git

参考

• https://gigazine.net/news/20230314-dalai-llama/