自然言語処理

LoRA(低ランク適応)

読み方: ローラ

LoRA(低ランク適応) とは

Low-Rank Adaptationの略。大規模モデルのファインチューニングを少ないGPUメモリで実現するパラメータ効率的な手法。元のモデルの重みを固定し、低ランク行列の追加パラメータのみを学習する。消費者向けGPUでもLLMの追加学習が可能になり、個人・中小企業への普及を促進した。
用語集一覧に戻る