• 本文
• リロード
• 差分
• バックアップ
• 名前変更
• リファラ
• 新規ページ
• 編集

Rockchip

RKLLM

Top / RKLLM

RKLLM-Toolkit?で変換(PC)してRKLLM Runtime?で実行(実機)

https://github.com/airockchip/rknn-llm

対応

• RK3588 Series
• RK3576 Series

モデル

• Llama models
  • Llama 3 8B

• TinyLlama models
  • TinyLlama-1.1B
• Qwen models
  • Qwen
  • Qwen2
    • Qwen2-1.5B?
• Phi models
  • Phi-2?
  • Phi-3
• ChatGLM3-6B?
• Gemma models
  • Gemma2-2B?
• InternLM2? models
• MiniCPM models
• TeleChat? models
• Qwen2-VL
• MiniCPM-V

Model Zoo

• DeepSeek-R1-Distill-Qwen-1.5B

ドライバ

RKNPU

• 同梱: 0.9.8
• メモ: 0.9.6以上が必要

RKLLM 1.1.4?

• 0.9.8以上が必要

Orange Pi 5 Plus

• 公式	Orangepi5plus_1.2.0_ubuntu_jammy_desktop_xfce_linux5.10.160.img	0.9.6
  Ubuntu Rockchip 2.4.0	ubuntu-22.04-preinstalled-desktop-arm64-orangepi-5-plus.img	0.9.6

変換

• PC上で行う

RKLLM-Toolkit? (同梱)

RKNN Toolkit2

• VLMの変換とか

ドキュメント

Radxa

• https://docs.radxa.com/en/rock5/rock5c/app-development/rkllm_install
• https://docs.radxa.com/en/rock5/rock5b/app-development/rkllm_deepseek_r1

T-Firefly?

• https://wiki.t-firefly.com/en/AIBOX-3588/usage_llm_rockchip.html

ezrknpu

RKLLM Gradio

• https://github.com/c0zaut/RKLLM-Gradio