最終更新:2023-04-06 (木) 07:09:42 (471d)  

Dalai
Top / Dalai

Run LLaMA and Alpaca on your computer.

https://github.com/cocktailpeanut/dalai

搭載

モデル

  • FullQuantized
    LLaMA-65B?npx dalai llama install 65B432.64GB40.88GB
    LLaMA-30B?npx dalai llama install 30B150.48GB20.36GB
    LLaMA-13B?npx dalai llama install 13B60.21GB8.14GB
    LLaMA-7B?npx dalai llama install 7B31.17GB4.21GB
    Alpaca-15B?npx dalai alpaca install 13B8.14GB
    Alpaca-7B?npx dalai alpaca install 7B4.21GB

コマンド

  • npx dalai serve?

対応OS

メモリ使用量

  • 7B => ~4 GB
  • 13B => ~8 GB
  • 30B => ~16 GB
  • 65B => ~32 GB

メモ

参考