• 本文
• リロード
• 差分
• バックアップ
• 名前変更
• リファラ
• 新規ページ
• 編集

M5Stack

Module LLM

Top / Module LLM

https://docs.m5stack.com/en/module/Module-llm

https://shop.m5stack.com/products/m5stack-llm-large-laguage-model-module-ax630c

機能

• KWS	ウェイクワード認識
  ASR	音声認識
  LLM	大規模言語モデル
  TTS	テキスト読み上げ/音声合成
  YOLO	画像認識とか

仕様

• Module LLM/部品

SoC

• Axera AX630C
• Dual ARM Cortex-A53 1.2 GHz

• 1.5W

NPU

• 3.2TOPS (INT8)

• 12.8 TOPS @INT4

メモリ/ストレージ

• 4GB LPDDR4 (ユーザー アプリケーションに 1GB、ハードウェア アクセラレーション専用 3GB)
• 32GB eMMC 5.1

周辺

• 内蔵マイク
• スピーカー
• TFストレージカード
• USB OTG
• RGBステータスライト

ソフトウェア

• Ubuntu 22.04搭載
• adbでログイン可能

モデル

• Qwen2.5-0.5Bがプリインストール

• 同社は、今後のアップデートで、発売モデルの 3 倍のサイズであるより高性能な Qwen2.5-1.5B モデル、および Llama3.2-1B と InternVL2-1B のサポートが追加されると約束している。
• https://www.hackster.io/news/m5stack-adds-large-language-model-support-to-its-offerings-with-the-3-2-tops-llm-module-f0a4e061f0de

ピン配置

• M-BUSのUARTのピン

  ピン番号	M5Stack Basic	M5Stack Core2	M5Stack CoreS3
  15 (TX)	G16 (RXD2)	G13 (RXD2)	G18 (PC_RX)
  16 (RX)	G17 (TXD2)	G14 (TXD2)	G17 (PC_TX)

チュートリアル

• https://docs.m5stack.com/en/guide/llm/llm/uiflow2
• https://docs.m5stack.com/en/guide/llm/llm/arduino

• https://docs.m5stack.com/en/guide/llm/llm/arduino_api

Module LLM/使い方

Arduinoのライブラリ

• M5ModuleLLM

Module LLM/API

• StackFlowのAPI

M5Stack側

• M5ModuleLLMの関数を実行→JSONのコマンドがUART経由でModule LLM側に伝わる

Module LLM側

• StackFlowのModule LLM/llm-sysがサービスとして常駐している
  • /dev/ttyS1からのUARTも待ち受け (M-BUS経由のM5Stack向け)
  • 10001ポートでTCPで待ち受けている (ネットワーク経由向け)
  • コマンドを受け取って各Module LLM/ユニットで実行

Module LLM/モデル

Module LLM/システムサービス

StackFlow

• Module LLM/ユニット

  llm-audio?	Audio unit, providing system audio support.
  llm-kws?	Keyword detection unit, providing keyword wakeup service.
  llm-asr?	Speech-to-text unit, providing speech-to-text service.
  llm-llm	Large model unit, providing AI large model inference service.
  llm-melotts?	NPU-accelerated TTS unit, providing text-to-speech and playback service.
  llm-tts?	CPU-computed TTS unit, providing text-to-speech and playback service.

Module LLM/無線LAN

Module LLM/デバッグボード

ケース

• デバッグ基板を一体化するフレーム
  • https://qiita.com/kenichih/items/3b6cef2c71a1f9faf42d

• ↑をスタンドと合わせてみた
  • https://makerworld.com/en/models/981023#profileId-954651

• M5Stack Stand-chan big
  • https://makerworld.com/en/models/996444#profileId-972892

Module LLM/解析

Module LLM/Ubuntu

• Module LLM/Ubuntu/ディレクトリ構成

• Module LLM/Ubuntu/コマンド
• Module LLM/Ubuntu/パッケージ

Module LLM/Linuxカーネル

• Module LLM/dmesg

• Module LLM/lsmod

Module LLM/ファームウェア

お役立ちリンク集

• https://github.com/nnn112358/awesome_M5Stack_ModuleLLM

Module LLM/リポジトリ

M5Stack側 (Arduino/ライブラリ)

• https://github.com/m5stack/M5Module-LLM (M5ModuleLLM)

Module LLM側

• https://github.com/m5stack/StackFlow (StackFlow)

参考

• https://elchika.com/article/0e41a4a7-eecc-471e-a259-4fc8d710c26a/
• https://github.com/Abandon-ht/ModuleLLM_Development_Guide