最終更新:2025-02-27 (木) 03:25:16 (109d)
Module LLM/モデル/LLM
一覧
モデル名 モデルのフォルダの容量 モデル メモ data version qwen2.5-1.5B-ax630c? Qwen2.5-1.5B-Instruct 0.3 InternVL2_5-1B? 0.3 Qwen2.5-Coder-0.5B? 0.2 InternVL2-1B? 0.2 openbuddy-llama3.2-1B-ax630c 1.7GB openbuddy-llama3.2-1b-v23.1-131k(トークナイザのconfigに書いてある) (3GB,BF16) ベースはLlama-3.2-1B-Instruct 0.2 llama3.2-1B-prefill-ax630c 1.7GB Llama-3.2-1B?かLlama-3.2-1B-Instruct (2.47GB,BF16) 0.2 qwen2.5-0.5B-prefill-20e 758MB たぶんQwen2.5-0.5B-Instruct (988MB, BF16) たぶん--weight_type s8 (INT8)でビルドしている・・? 0.1/0.2
メモ
https://pulsar2-docs.readthedocs.io/en/latest/appendix/build_llm.html
- qwen2.5_tokenizer: file related to tokenizer, be extracted from Qwen/Qwen2.5-3B-Instruct/
- qwen2.5_tokenizer.py: Tokenizer HTTP Server implemented in python
変換
ベンチマーク
AxeraのHugging Faceにあるモデル
DeepSeek-R1-Distill-Qwen-1.5B
https://huggingface.co/AXERA-TECH/DeepSeek-R1-Distill-Qwen-1.5B
- Module LLM/モデル/DeepSeek-R1-Distill-Qwen-1.5B