• 本文
• リロード
• 差分
• バックアップ
• 名前変更
• リファラ
• 新規ページ
• 編集

言語モデル

LoRA

Top / LoRA

Low-Rank Adaptation of Large Language Models

パラメータを10000分の1、GPUメモリ要件を3分の1に削減できる手法

https://arxiv.org/abs/2106.09685

メモ

• Microsoftが2021年に発表した論文

参考

• https://engineering.linecorp.com/ja/blog/lora-tuning-for-japanese-model

関連

• RoBERTa?
• DeBERTa
• GPT-2
• GPT-3