最終更新:2024-04-03 (水) 16:03:37 (9d)  

LLM/VRAM
Top / LLM / VRAM

LLM

Llama 2

Falcon

  • Falcon 180B?

重みの精度?

  • バイトビット
    倍精度double864
    単精度float/float32432普通はこれ
    半精度float16216
    INT88
    INT44
    GPTQ3

VRAM

  • パラメータ数形式ビット計算サイズ
    7Bfp32327 * 428GB
    fp16167 * 214GB
    int887 * 17GB
    int447 * 0.53.5GB
    13Bfp323213 * 452GB
    fp161613 * 226GB
    int8813 * 113GB
    int4413 * 0.56.5GB
    70Bfp323270 * 4280GB
    fp161670 * 2140GB
    int8870 * 170GB
    int4470 * 0.535GB
    GPTQ370 * 0.37526.25GB

メモ

  • 混合精度?