ByteDance Seedの研究者は、長い文脈を処理する際に保持するキーの選択コストを抑えるブロック疎注意手法「PISA」を提案しました。系列長が増えると標準的な自己注意の計算量は二次的に増えます。従来のブロック選択も、クエリブロックとキーブロックの全組み合わせを採点するため、計算量は二次的なままです。

PISAはピラミッド型Top-K戦略で、段階を追って候補キーを絞り込みます。粗い階層から細かい階層へ進み、各段階で上限を設けた候補集合にLogSumExpスコアリングを適用し、選んだ候補を次の段階へ渡します。プーリングでO(log N)段階を作り、系列長をNとすると選択処理全体の計算量をO(N log N)に抑えます。

研究者らは、学習と推論に対応するハードウェアを考慮したTritonカーネルも開発しました。このカーネルは、クエリとキーのスコア行列を実体化せずに、階層的な振り分けとLogSumExpスコアリングを組み合わせます。言語モデリング課題では、常識推論を含むベンチマークで基準手法と同程度の性能を達成し、検索課題ではより良い結果を示しました。

ByteDance Seedの研究者は、長い文脈を処理する際に保持するキーの選択コストを抑えるブロック疎注意手法「PISA」を提案しました。系列長が増えると標準的な自己注意の計算量は二次的に増えます。従来のブロック選択も、クエリブロックとキーブロックの全組み合わせを採点するため、計算量は二次的なままです。

PISAはピラミッド型Top-K戦略で、段階を追って候補キーを絞り込みます。粗い階層から細かい階層へ進み、各段階で上限を設けた候補集合にLogSumExpスコアリングを適用し、選んだ候補を次の段階へ渡します。プーリングでO(log N)段階を作り、系列長をNとすると選択処理全体の計算量をO(N log N)に抑えます。

研究者らは、学習と推論に対応するハードウェアを考慮したTritonカーネルも開発しました。このカーネルは、クエリとキーのスコア行列を実体化せずに、階層的な振り分けとLogSumExpスコアリングを組み合わせます。言語モデリング課題では、常識推論を含むベンチマークで基準手法と同程度の性能を達成し、検索課題ではより良い結果を示しました。