最終更新:2025-05-18 (日) 01:45:59 (49d)
GPTQ
Top / GPTQ
Generalized Post-Training Quantization
https://arxiv.org/abs/2210.17323
量子化
- 一般的には4bit
- 精度を上げたい場合は8bit
おなかすいた族!
Generalized Post-Training Quantization
https://arxiv.org/abs/2210.17323