• 本文
• リロード
• 差分
• バックアップ
• 名前変更
• リファラ
• 新規ページ
• 編集

LLM

LLM/VRAM

Top / LLM / VRAM

LLM

Llama 2

• Llama 2 70B

  Llama 2 13B

  Llama 2 7B

Falcon

• Falcon 180B?

重みの精度?

• 		バイト	ビット
  倍精度	double	8	64
  単精度	float/float32	4	32	普通はこれ
  半精度	float16	2	16
  	INT8		8
  	INT4		4
  	GPTQ		3

VRAM

• パラメータ数	形式	ビット	計算	サイズ
  7B	fp32	32	7 * 4	28GB
  	fp16	16	7 * 2	14GB
  	int8	8	7 * 1	7GB
  	int4	4	7 * 0.5	3.5GB
  13B	fp32	32	13 * 4	52GB
  	fp16	16	13 * 2	26GB
  	int8	8	13 * 1	13GB
  	int4	4	13 * 0.5	6.5GB
  70B	fp32	32	70 * 4	280GB
  	fp16	16	70 * 2	140GB
  	int8	8	70 * 1	70GB
  	int4	4	70 * 0.5	35GB
  	GPTQ	3	70 * 0.375	26.25GB

メモ

• 混合精度?