最終更新:2025-01-21 (火) 08:13:54 (18d)  

Module LLM/モデル/LLM

モデル名モデルのフォルダの容量メモ
qwen2.5-0.5B-prefill-20e758MBたぶんQwen2.5-0.5B-Instruct (988MB, BF16)たぶん--weight_type s8 (INT8)でビルドしている・・?
openbuddy-llama3.2-1B-ax630c1.7GBopenbuddy-llama3.2-1b-v23.1-131k(トークナイザのconfigに書いてある) (3GB,BF16) ベースはLlama-3.2-1B-Instruct
llama3.2-1B-prefill-ax630c1.7GBLlama-3.2-1B?Llama-3.2-1B-Instruct (2.47GB,BF16)

メモ

変換

ベンチマーク