最終更新:2025-10-10 (金) 13:41:34 (186d)
PEFT
Top / PEFT
Parameter-Efficient Fine-Tuning
https://huggingface.co/blog/peft
動作
- 事前に決定された下流タスクの最終レイヤーにアダプターと呼ばれるいくつかのトレーニング可能なパラメーターを追加する
技術
アダプター
LoRA
- 2021
- LoRAの拡張バージョン
QLoRA
- 32ビット→4ビット
