• 本文
• リロード
• 差分
• バックアップ
• 名前変更
• リファラ
• 新規ページ
• 編集

Module LLM/モデル

Module LLM/モデル/LLM

Top / Module LLM / モデル / LLM

一覧

• モデル名	モデルのフォルダの容量	モデル	メモ	data version
  qwen2.5-1.5B-ax630c?		Qwen2.5-1.5B-Instruct		0.3
  		InternVL2_5-1B?		0.3
  		Qwen2.5-Coder-0.5B?		0.2
  		InternVL2-1B?		0.2
  openbuddy-llama3.2-1B-ax630c	1.7GB	openbuddy-llama3.2-1b-v23.1-131k(トークナイザのconfigに書いてある) (3GB,BF16) ベースはLlama-3.2-1B-Instruct		0.2
  llama3.2-1B-prefill-ax630c	1.7GB	Llama-3.2-1B?かLlama-3.2-1B-Instruct (2.47GB,BF16)		0.2
  qwen2.5-0.5B-prefill-20e	758MB	たぶんQwen2.5-0.5B-Instruct (988MB, BF16)	たぶん--weight_type s8 (INT8)でビルドしている・・？	0.1/0.2

メモ

• https://pulsar2-docs.readthedocs.io/en/latest/appendix/build_llm.html
• qwen2.5_tokenizer: file related to tokenizer, be extracted from Qwen/Qwen2.5-3B-Instruct/
• qwen2.5_tokenizer.py: Tokenizer HTTP Server implemented in python

変換

• pulsar2 llm_build
• https://pulsar2-docs.readthedocs.io/en/latest/appendix/build_llm.html

ベンチマーク

• https://github.com/AXERA-TECH/ax-llm/blob/prefill/benchmark/LLM_Benchmark_AX630C.md

  模型名称	参数量	Generate（token/s）
  TinyLlama-1.1?	1.1B	5.4
  Qwen2	0.5B	10.7
  Qwen2	1.5B	3.7
  MiniCPM	1.2B	3.9
  Llama3.2?	1.2B	4.5

AxeraのHugging Faceにあるモデル

DeepSeek-R1-Distill-Qwen-1.5B

• https://huggingface.co/AXERA-TECH/DeepSeek-R1-Distill-Qwen-1.5B
• Module LLM/モデル/DeepSeek-R1-Distill-Qwen-1.5B

その他モデルの変換

TinySwallow

• https://github.com/nnn112358/ModuleLLM_TinySwallow-1.5B

LLM-jp-3

• https://x.com/nnn112358/status/1892929441635938774
• https://github.com/nnn112358/ModuleLLM_llm-jp-3