LoRAアダプタ

LoRAアダプタとは

特定のタスクに合わせてモデルを微調整した際の、軽量な追加データセットのこと。

他の言語での表記と説明

한국어LoRA 어댑터

전체 모델을 수정하지 않고 일부 파라미터만 미세 조정하여 특정 작업에 최적화하는 효율적인 학습 방식

EnglishLoRA adapters

Small, specialized mathematical layers added to a pre-trained model to customize its behavior for specific tasks without needing to retrain the entire large model.

関連用語

• LoRA (Low-Rank Adaptation)巨大なモデルの全パラメータを更新する代わりに、低ランクの行列のみを学習させることで、計算コストを抑えつつ効率的にファインチューニングを行う手法。
• 小規模言語モデル (SLM)LLMよりもパラメータ数が少なく、オンデバイス環境で高速かつ効率的に動作する言語モデル。
• レイヤー単位オフロード推論や学習中に必要に応じてレイヤーをGPUとCPU間で移動し、GPUメモリ使用量を抑える技術。
• 事後学習事前学習の後に行う追加の学習段階です。SFTやRLHFなどを通じて、特定のタスクや望ましい振る舞いにモデルを合わせます。
• アクティブパラメータモデルが持つ総パラメータのうち、特定の推論や計算処理において実際に使用されるパラメータのこと。
• ネイティブ拡張CやC++、Rustなどの低級言語で記述されたコードを、Pythonなどの高級言語から利用できるようにする仕組み。