ByteDance Seedの研究者は10月14日公開の論文で、大規模言語モデルが文脈を取り除いた後も、その文脈による性能向上を保持する手法「Cortex」を提案しました。性能向上を統合可能なパラメーター更新にまとめ、更新と関係のない能力を保つことを目指します。著者らはこれを記憶の定着と位置づけ、文脈に基づく編集、スキル学習、振る舞いの調整を共通の目的のもとに結びつけています。

論文では、単独、一括、逐次の更新後に変更がどれだけ保持されるかを測る、5種類のタスク群からなる評価環境を示しました。Cortexは、与えられた文脈がどう使われるかを見越した質問を生成し、文脈に応じた出力を、統合可能な低ランク更新またはフィードフォワードネットワークの構造更新に変換します。評価対象には、4Bから120Bパラメーターまでの密なモデルと混合専門家モデルが含まれ、テキスト専用モデルとマルチモーダルモデルも調べました。

評価した設定の大半で、Cortexは知識の定着と既存能力の保持の両立において、実測上の最前線に位置しました。報告されたテストの一つでは、Cortex-Structuralが14Bモデルに事実編集を50回逐次適用し、文脈による性能向上分の88.9％を回復するとともに、対象外タスクで元の性能の99.8％を保持しました。論文は、この手法によってモデルが知識を内在化し、既存能力を維持しながら継続的に学習できると説明しています。

ByteDance Seedの研究者は10月14日公開の論文で、大規模言語モデルが文脈を取り除いた後も、その文脈による性能向上を保持する手法「Cortex」を提案しました。性能向上を統合可能なパラメーター更新にまとめ、更新と関係のない能力を保つことを目指します。著者らはこれを記憶の定着と位置づけ、文脈に基づく編集、スキル学習、振る舞いの調整を共通の目的のもとに結びつけています。

論文では、単独、一括、逐次の更新後に変更がどれだけ保持されるかを測る、5種類のタスク群からなる評価環境を示しました。Cortexは、与えられた文脈がどう使われるかを見越した質問を生成し、文脈に応じた出力を、統合可能な低ランク更新またはフィードフォワードネットワークの構造更新に変換します。評価対象には、4Bから120Bパラメーターまでの密なモデルと混合専門家モデルが含まれ、テキスト専用モデルとマルチモーダルモデルも調べました。

評価した設定の大半で、Cortexは知識の定着と既存能力の保持の両立において、実測上の最前線に位置しました。報告されたテストの一つでは、Cortex-Structuralが14Bモデルに事実編集を50回逐次適用し、文脈による性能向上分の88.9％を回復するとともに、対象外タスクで元の性能の99.8％を保持しました。論文は、この手法によってモデルが知識を内在化し、既存能力を維持しながら継続的に学習できると説明しています。