最終更新:2025-01-21 (火) 08:13:54 (18d)
Module LLM/モデル/LLM
モデル名 | モデルのフォルダの容量 | 元 | メモ |
qwen2.5-0.5B-prefill-20e | 758MB | たぶんQwen2.5-0.5B-Instruct (988MB, BF16) | たぶん--weight_type s8 (INT8)でビルドしている・・? |
openbuddy-llama3.2-1B-ax630c | 1.7GB | openbuddy-llama3.2-1b-v23.1-131k(トークナイザのconfigに書いてある) (3GB,BF16) ベースはLlama-3.2-1B-Instruct | |
llama3.2-1B-prefill-ax630c | 1.7GB | Llama-3.2-1B?かLlama-3.2-1B-Instruct (2.47GB,BF16) |
メモ
https://pulsar2-docs.readthedocs.io/en/latest/appendix/build_llm.html
- qwen2.5_tokenizer: file related to tokenizer, be extracted from Qwen/Qwen2.5-3B-Instruct/
- qwen2.5_tokenizer.py: Tokenizer HTTP Server implemented in python