最終更新:2025-01-22 (水) 00:24:27 (17d)
Module LLM/モデル/DeepSeek-R1-Distill-Qwen-1.5B
概要
https://huggingface.co/AXERA-TECH/DeepSeek-R1-Distill-Qwen-1.5B/tree/main にあるモデルをModule LLM (単体)で動かす手順
モデル
Hugging Face
元のモデル
- DeepSeek-R1-Distill-Qwen-1.5B
- BF16
- 3.55GB
- ベースモデル: Qwen2.5-Math-1.5B
動かし方
Hugging Faceの内容を一式転送
- PC (Ubuntu)でDLしてModule LLMに転送した (AX650用のモデルも入れると4.1GBくらい)
pip install -U "huggingface_hub[cli]" huggingface-cli download AXERA-TECH/DeepSeek-R1-Distill-Qwen-1.5B
/.cache/huggingface/hub/ にDLされてsnapshotの中身がシンボリックリンクになってるのでcp -rLでコピー
cp -rL ~/.cache/huggingface/hub/models--AXERA-TECH--DeepSeek-R1-Distill-Qwen-1.5B /path/to/destination
- adb pushとかでModule LLMに転送
トークナイザの起動 (別窓)
- python3 deepseek-r1_tokenizer.py
起動スクリプトの修正
- run_deepseek-r1_1.5B_ax630c.shのfilename_tokenizer_modelの部分を localhost:8080に変更
- --filename_tokenizer_model "http://xxx.xxx.xxx.xxx:12345" \ + --filename_tokenizer_model "http://localhost:8080" \
実行権限の追加
chmod +x run_deepseek-r1_1.5B_ax630c.sh
実行
./run_deepseek-r1_1.5B_ax630c.sh
- 引数が最初のプロンプトになっている模様
- Windowsのコマンドプロンプト経由のadb shellだと日本語を入力すると文字化けして落ちた
- chcp 65001してからadb shellしたらOK
- Module LLM/デバッグボードのTera Term経由でシリアルポートでやったら日本語もOK
おまけ
システムプロンプトの変更
- deepseek-r1_tokenizer.py?を編集
- スタックチャン化 (任意)
- messages = [ - {"role": "system", "content": "You are Qwen, created by Alibaba Cloud. You are a helpful assistant."}, - {"role": "user", "content": prompt} - ] + messages = [ + {"role": "system", "content": "あなたの名前はスタックチャン。スーパーかわいいロボットです。全力でかわいい会話をしてください。"}, + {"role": "user", "content": prompt} + ]
メモ
CMM使用量
cat /proc/ax_proc/mem_cmm_info
---CMM_USE_INFO: total size=3145728KB(3072MB),used=1641848KB(1603MB + 376KB),remain=1503880KB(1468MB + 648KB),partition_number=1,block_number=664
終了の仕方
- qでquit
- 暴走時は別窓で
killall main_prefill