勾配干渉

勾配干渉とは

複数タスクの学習で、あるタスクの勾配更新が別のタスクの性能改善を妨げる現象

他の言語での表記と説明

한국어그래디언트 간섭

여러 작업을 함께 학습할 때 한 작업의 파라미터 업데이트가 다른 작업의 학습을 방해하는 현상

EnglishGradient Interference

Optimization problem where gradient updates for different tasks conflict and reduce multi-task learning performance

関連用語

• 負の転移あるタスクの学習が、別のタスクの学習や性能に対して悪影響を及ぼし、モデル全体の精度を低下させる現象。
• 勾配クリッピング学習中の勾配の大きさを一定範囲に制限する手法です。
• 勾配反転層順伝播では入力をそのまま通し、逆伝播では勾配の符号を反転させるニューラルネットワーク層
• 全パラメーターファインチューニング事前学習済みモデルの全重みを更新し、特定のデータやタスクに合わせて再訓練する手法
• 勾配降下法関数の最小値を見つけるための反復的なアルゴリズムで、現在のAI学習における標準的な手法。
• 確率的勾配ノイズミニバッチを使用して勾配を計算する際に生じる、真の勾配からのランダムな変動のこと。
• ハイパーパラメータ最適化機械学習モデルの訓練前に設定する必要があるパラメータを調整し、モデルの性能を最大化するプロセス。