最終更新:2025-01-22 (水) 00:24:27 (17d)  

Module LLM/モデル/DeepSeek-R1-Distill-Qwen-1.5B
Top / Module LLM / モデル / DeepSeek-R1-Distill-Qwen-1.5B

概要

モデル

Hugging Face

元のモデル

動かし方

Hugging Faceの内容を一式転送

  • PC (Ubuntu)でDLしてModule LLMに転送した (AX650用のモデルも入れると4.1GBくらい)
    pip install -U "huggingface_hub[cli]"
    huggingface-cli download AXERA-TECH/DeepSeek-R1-Distill-Qwen-1.5B
  • /.cache/huggingface/hub/ にDLされてsnapshotの中身がシンボリックリンクになってるのでcp -rLでコピー

    cp -rL ~/.cache/huggingface/hub/models--AXERA-TECH--DeepSeek-R1-Distill-Qwen-1.5B /path/to/destination
  • adb pushとかでModule LLMに転送

トークナイザの起動 (別窓)

  • python3 deepseek-r1_tokenizer.py

起動スクリプトの修正

  • run_deepseek-r1_1.5B_ax630c.shのfilename_tokenizer_modelの部分を localhost:8080に変更
    - --filename_tokenizer_model "http://xxx.xxx.xxx.xxx:12345" \
    + --filename_tokenizer_model "http://localhost:8080" \

実行権限の追加

  • chmod +x run_deepseek-r1_1.5B_ax630c.sh

実行

おまけ

システムプロンプトの変更

  • deepseek-r1_tokenizer.py?を編集
    • スタックチャン化 (任意)
    -        messages = [
    -            {"role": "system", "content": "You are Qwen, created by Alibaba Cloud. You are a helpful assistant."},
    -            {"role": "user", "content": prompt}
    -        ]
    +        messages = [
    +            {"role": "system", "content": "あなたの名前はスタックチャン。スーパーかわいいロボットです。全力でかわいい会話をしてください。"},
    +            {"role": "user", "content": prompt}
    +        ]

メモ

CMM使用量

  • cat /proc/ax_proc/mem_cmm_info
    ---CMM_USE_INFO:
     total size=3145728KB(3072MB),used=1641848KB(1603MB + 376KB),remain=1503880KB(1468MB + 648KB),partition_number=1,block_number=664

終了の仕方

  • qでquit
  • 暴走時は別窓で
    killall main_prefill

関連