疎性

疎性とは

モデルの全パラメータのうち、特定の処理に対して一部のみを活性化させる特性。

他の言語での表記と説明

한국어희소성

모델의 전체 파라미터 중 특정 시점에 일부만 활성화되도록 설계하여 계산 복잡도를 낮추고 효율성을 극대화하는 성질.

EnglishSparsity

A property in neural networks where only a small subset of the total parameters or neurons are active during the processing of a specific input.

関連用語

• アクティブパラメータモデルが持つ総パラメータのうち、特定の推論や計算処理において実際に使用されるパラメータのこと。
• モデルプルーニングAIモデルの精度に貢献の少ないパラメータを削除し、モデルを軽量化・高速化する手法。
• パラメータ効率的なファインチューニングモデルの全パラメータを更新するのではなく、一部のパラメータのみを効率的に調整することで、少ないリソースで追加学習を行う手法。
• Low-Rank Adaptation学習済みモデルの重み行列を低ランク行列で近似し、少ないパラメータ数で効率的にモデルを微調整（ファインチューニング）する手法。
• Few-shot少数の例示（プロンプト）のみを入力として与え、モデルが新たなタスクを推論・実行できるようにする機械学習の評価手法。
• データ効率性少ない学習データ量で高い性能や精度を獲得できるモデルの能力を指す指標
• フューショットラーニング機械学習において、ごく少数の学習サンプル（例題）をモデルに与えるだけで、新しいタスクやパターンを学習・実行させる手法。
• 隠れ状態ニューラルネットワークが入力処理の途中で保持する内部表現で、後続の出力計算に使われる
• 次元の呪い特徴量（次元）が増えるほどデータが疎になり、パターンが学びにくくなって精度が下がったり計算コストが増えたりする問題。
• マスク付きソフトマックス対象外の要素を除外して確率を計算するソフトマックス方式です。
• LoRA (Low-Rank Adaptation)巨大なモデルの全パラメータを更新する代わりに、低ランクの行列のみを学習させることで、計算コストを抑えつつ効率的にファインチューニングを行う手法。