クロスアテンション

クロスアテンションとは

異なる二つの入力シーケンス間で相互に関連性を計算するメカニズムで、モデルが特定の情報を参照する際に用いられる

他の言語での表記と説明

한국어교차 주의

트랜스포머 아키텍처에서 서로 다른 두 입력 시퀀스 간의 관계를 파악하기 위해 사용하는 메커니즘으로, 데이터 내 특정 요소들이 서로 어떻게 연결되는지 계산함

EnglishCross-attention

Mechanism in transformer architectures that allows one sequence to focus on or attend to information from another distinct sequence

関連用語

• 時間因果セルフアテンション過去の時点だけを参照し、時間順序を保つ自己注意機構
• 双方向アテンション入力データの前後両方向の情報を同時に参照することで、文脈の理解を深めるアテンションメカニズムの一種。
• 時空間アテンション画像や動画の空間的な位置関係と時間的な変化を同時に参照する注意機構。
• 時間的アテンション時系列データにおいて、過去のどの時点の情報が現在の予測に重要かを特定し、適応的に重み付けを行うニューラルネットワークの手法。
• アテンション・マスキングTransformer等のモデルにおいて、特定のトークンやデータが計算結果に影響を与えないよう、注意機構を制限する手法