• 本文
• リロード
• 差分
• バックアップ
• 名前変更
• リファラ
• 新規ページ
• 編集

ローカルLLM

ローカルLLM/VRAM

Top / ローカルLLM / VRAM

ツール

• llmfit

重みの精度?

• 		バイト	ビット
  倍精度	double	8	64
  単精度	float/float32	4	32	普通はこれ
  半精度	float16	2	16
  	INT8		8
  	INT4		4
  	GPTQ		3

VRAM

• パラメータ数	形式	ビット	計算	サイズ
  7B	fp32	32	7 * 4	28GB
  	fp16	16	7 * 2	14GB
  	int8	8	7 * 1	7GB
  	int4	4	7 * 0.5	3.5GB
  13B	fp32	32	13 * 4	52GB
  	fp16	16	13 * 2	26GB
  	int8	8	13 * 1	13GB
  	int4	4	13 * 0.5	6.5GB
  70B	fp32	32	70 * 4	280GB
  	fp16	16	70 * 2	140GB
  	int8	8	70 * 1	70GB
  	int4	4	70 * 0.5	35GB
  	GPTQ	3	70 * 0.375	26.25GB

Hugging Face Llama Recipes

• https://github.com/huggingface/huggingface-llama-recipes

  Model Size	Llama Variant	BF16/FP16?	FP8	INT4?(AWQ/GPTQ/bnb?)
  1B	3.2	2.5 GB	1.25GB	0.75GB
  3B?	3.2	6.5 GB	3.2GB	1.75GB
  8B?	3.1	16 GB	8GB	4GB
  70B	3.1 and 3.3	140 GB	70GB	35GB
  405B?	3.1	810 GB	405GB	204GB

Llama 3.1

• https://huggingface.co/blog/llama31

  Model Size	FP16?	FP8	INT4?
  Llama 3.1 8B	16 GB	8 GB	4 GB
  Llama 3.1 70B	140 GB	70 GB	35 GB
  Llama 3.1 405B?	810 GB	405 GB	203 GB

Mistral AI

• https://docs.mistral.ai/getting-started/models/weights/#sizes

  Mistral 7B	16GB
  Mixtral 8x7B	100GB
  Mixtral 8x22B?	300GB
  Codestral 22B	60GB

メモ

• 混合精度?
• LLM/量子化

ローカルLLM/オフロード

VRAM24GBで動くモデルの比較

• https://www.reddit.com/r/LocalLLaMA/comments/1i8tx5z/i_benchmarked_almost_every_model_that_can_fit_in/?rdt=44831

参考

• https://medium.com/@tubelwj/assessing-memory-needs-for-running-a-large-language-model-llm-on-your-computer-1f261b5f3df7