最終更新:2025-05-13 (火) 20:16:22 (49d)
LLM/VRAM
LLM
Llama 2
Falcon
- Falcon 180B?
重みの精度?
バイト ビット 倍精度 double 8 64 単精度 float/float32 4 32 普通はこれ 半精度 float16 2 16 INT8 8 INT4 4 GPTQ 3
VRAM
Hugging Face Llama Recipes
Llama 3.1
Mistral AI
https://docs.mistral.ai/getting-started/models/weights/#sizes
Mistral 7B 16GB Mixtral 8x7B 100GB Mixtral 8x22B? 300GB Codestral 22B 60GB