Stable AIの研究者はSep 15、表などの構造化データを対象にしたLimiXファミリーの新モデル、LimiX-2を公開し、Sep 17にHugging Face Papersへ投稿した。論文タイトルは「LimiX-2: A Contextual Mechanism Network Towards General Structured-Data Intelligence」で、既存のスケーリング則に基づくモデル拡大とデータ拡大によって開発されたとしている。Hugging Faceでは同ページ上で84 upvotesが表示され、#1 Paper of the dayに掲載された。

LimiX-2はContextual Mechanism Networks、すなわちCMNs（変数間の関係をモデル化する仕組み）を用い、Context-Conditional Masked Modeling、すなわちCCMM（変化する文脈で変数を隠して学習する手法）で事前学習される。著者らは、CMNsが構造化データのインコンテキスト学習を、従来型のターゲット中心の予測 p(y mid x, D_context) から、メカニズム志向の同時モデリング p(x, y mid D_context) へ移すと説明している。狙いは、入力列から1つのターゲット列を予測するだけでなく、データ生成の背後にある同時構造を学ぶことにある。

モデルはStructural Causal Models、すなわちSCMs（原因と結果の関係を表す体系）が生成した合成データセットだけで事前学習される。データセットは、多様なグラフ構造、関数的メカニズム、分布、観測プロセスを含む。事前学習では、異なる観測パターンの下で異なる変数をマスクし、同じ表を多数の条件付き予測問題に変換することで、1つの事前学習済みモデルに分類、回帰、欠損値補完、因果スケルトン復元の共通基盤を与える。

著者らによると、LimiX-2は3つの広範な表形式ベンチマークで#1となり、TabArenaで1935 Elo、TALENTで1506 Elo、BCCOで1432 Eloを記録した。評価全体で、現行のデータセット特化モデルと表形式基盤モデルを上回ったという。ページでは、12.5Mから406.2Mパラメータまでモデルを拡大するにつれて、評価された5つのスケーリング系列すべてで性能が一貫して向上し、測定範囲内では明確な飽和の兆候は見られなかったとしている。

予測以外の面では、論文はCMNパラダイムがLimiX-2の因果認識を促すと述べる。特徴量アテンションが直接的な因果関係を符号化するためだ。著者らは、特徴量アテンションによって高精度な因果スケルトン復元が可能になり、変数間の条件付き関係を学ぶことで、単一の教師ありターゲットを超えた構造を捉えられると説明している。プロジェクトページは論文、コード、Hugging Faceモデルにリンクし、再現、独立評価、統合、フィードバックを求めている。

Stable AIの研究者はSep 15、表などの構造化データを対象にしたLimiXファミリーの新モデル、LimiX-2を公開し、Sep 17にHugging Face Papersへ投稿した。論文タイトルは「LimiX-2: A Contextual Mechanism Network Towards General Structured-Data Intelligence」で、既存のスケーリング則に基づくモデル拡大とデータ拡大によって開発されたとしている。Hugging Faceでは同ページ上で84 upvotesが表示され、#1 Paper of the dayに掲載された。

LimiX-2はContextual Mechanism Networks、すなわちCMNs（変数間の関係をモデル化する仕組み）を用い、Context-Conditional Masked Modeling、すなわちCCMM（変化する文脈で変数を隠して学習する手法）で事前学習される。著者らは、CMNsが構造化データのインコンテキスト学習を、従来型のターゲット中心の予測 p(y mid x, D_context) から、メカニズム志向の同時モデリング p(x, y mid D_context) へ移すと説明している。狙いは、入力列から1つのターゲット列を予測するだけでなく、データ生成の背後にある同時構造を学ぶことにある。

モデルはStructural Causal Models、すなわちSCMs（原因と結果の関係を表す体系）が生成した合成データセットだけで事前学習される。データセットは、多様なグラフ構造、関数的メカニズム、分布、観測プロセスを含む。事前学習では、異なる観測パターンの下で異なる変数をマスクし、同じ表を多数の条件付き予測問題に変換することで、1つの事前学習済みモデルに分類、回帰、欠損値補完、因果スケルトン復元の共通基盤を与える。

著者らによると、LimiX-2は3つの広範な表形式ベンチマークで#1となり、TabArenaで1935 Elo、TALENTで1506 Elo、BCCOで1432 Eloを記録した。評価全体で、現行のデータセット特化モデルと表形式基盤モデルを上回ったという。ページでは、12.5Mから406.2Mパラメータまでモデルを拡大するにつれて、評価された5つのスケーリング系列すべてで性能が一貫して向上し、測定範囲内では明確な飽和の兆候は見られなかったとしている。

予測以外の面では、論文はCMNパラダイムがLimiX-2の因果認識を促すと述べる。特徴量アテンションが直接的な因果関係を符号化するためだ。著者らは、特徴量アテンションによって高精度な因果スケルトン復元が可能になり、変数間の条件付き関係を学ぶことで、単一の教師ありターゲットを超えた構造を捉えられると説明している。プロジェクトページは論文、コード、Hugging Faceモデルにリンクし、再現、独立評価、統合、フィードバックを求めている。