論文、記憶進化が推論時学習を上回ると報告

10月23日にHugging Faceで公開された研究論文は、大規模言語モデルによる科学的発見を支援する「推論時メモリ進化（TTME）」を提案しました。モデルの重みを変更せず、外部メモリを更新する方式です。論文は、発見の過程でモデルの重みを更新し、計算コストが増える「推論時学習（TTT）」と比較しています。

研究者は同じ発見の枠組みを使い、推論時の適応方法だけを変えて両方式を評価しました。TTMEは評価対象となった数学の5課題すべてでTTTを上回りました。著者らによると、TTMEは浮動小数点演算数（FLOPs）を82.8〜84.6％、実行時間を47.7〜58.4％削減しました。

論文はTTMEを、経験を外部メモリに要約し、その後の発見の手順を導く、既存の仕組みに追加しやすい方式と説明しています。報告された結果は、評価された発見の条件に限られます。著者としてイェペン・リウ(Yepeng Liu)、シェンマイ・チェン(Shengmai Chen)、シュアンドン・ジャオ(Xuandong Zhao)、チェンジー・リウ(Chengzhi Liu)、ドーン・ソング(Dawn Song)、シン・エリック・ワン(Xin Eric Wang)、ユーヘン・ブ(Yuheng Bu)を挙げ、カリフォルニア大学サンタバーバラ校の所属を記載しています。研究は10月28日に投稿されたとしています。

要旨によると、それ以前のTTTの枠組みでは、オープンウェイトの大規模言語モデルが、最先端モデルを使う推論のみの枠組みを科学的発見課題で上回っていました。論文は、発見中にモデルの重みをオンラインで更新する追加コストを、TTMEの効率を検証する動機として挙げています。記事に記載された結果は数学の5課題に限られます。

10月23日にHugging Faceで公開された研究論文は、大規模言語モデルによる科学的発見を支援する「推論時メモリ進化（TTME）」を提案しました。モデルの重みを変更せず、外部メモリを更新する方式です。論文は、発見の過程でモデルの重みを更新し、計算コストが増える「推論時学習（TTT）」と比較しています。

研究者は同じ発見の枠組みを使い、推論時の適応方法だけを変えて両方式を評価しました。TTMEは評価対象となった数学の5課題すべてでTTTを上回りました。著者らによると、TTMEは浮動小数点演算数（FLOPs）を82.8〜84.6％、実行時間を47.7〜58.4％削減しました。

論文はTTMEを、経験を外部メモリに要約し、その後の発見の手順を導く、既存の仕組みに追加しやすい方式と説明しています。報告された結果は、評価された発見の条件に限られます。著者としてイェペン・リウ(Yepeng Liu)、シェンマイ・チェン(Shengmai Chen)、シュアンドン・ジャオ(Xuandong Zhao)、チェンジー・リウ(Chengzhi Liu)、ドーン・ソング(Dawn Song)、シン・エリック・ワン(Xin Eric Wang)、ユーヘン・ブ(Yuheng Bu)を挙げ、カリフォルニア大学サンタバーバラ校の所属を記載しています。研究は10月28日に投稿されたとしています。

要旨によると、それ以前のTTTの枠組みでは、オープンウェイトの大規模言語モデルが、最先端モデルを使う推論のみの枠組みを科学的発見課題で上回っていました。論文は、発見中にモデルの重みをオンラインで更新する追加コストを、TTMEの効率を検証する動機として挙げています。記事に記載された結果は数学の5課題に限られます。