Thinking Machines LabがInklingの性能を発表
- •Thinking Machines LabのInklingは、エージェント型ナレッジワークベンチマーク「AA-Briefcase」でEloスコア836を記録した。
- •Inklingは19.3%のルーブリックスコアを達成し、DeepSeek V4 Flash maxやGemini 3.5 Flash-Liteを上回った。
- •本モデルの評価はプレゼンテーションEloで863、分析品質Eloで764を示した。
Thinking Machines Labの「Inkling」モデルは、数千の入力ファイルを扱うエージェント型ナレッジワークのテストプラットフォーム「AA-Briefcase」において、Eloスコア836を記録した。Inklingは現在、Nemotron 3 UltraやGLM-5.2などの主要なオープンウェイトモデルには及ばないものの、DeepSeek V4 Flashより上位に位置している。このベンチマークは、バイナリルーブリックチェック、一対比較による分析品質評価、およびプレゼンテーション品質評価を通じて性能を測定する。
AA-Briefcaseのルーブリックスコアにおいて、Inklingは19.3%に到達した。この結果はMiMo-V2.5-Proの21.4%には及ばないが、DeepSeek V4 Flash maxの18.7%やGemini 3.5 Flash-Liteの14.8%を上回る。マルチモーダルな処理能力を備えているにもかかわらず、Excel、PowerPoint、PDF、Word以外の非標準的なファイルタイプを処理する際の性能は低下する傾向にある。また、分析品質Eloが764であるのに対し、プレゼンテーション品質Eloは863と優れた結果を示した。
リソース利用面では、Inklingはタスクあたり平均52Kの出力トークンを消費し、ベンチマークスイート全体では5Mトークンを使用する。ファイルタイプ別ではExcelの成果物が最もトークンを消費し、Word、PDF、PowerPointが続く。タスクあたりのターン数は平均81回、中央値49回であり、やり取りの長さに大きなばらつきが見られる。平均ターン数は比較的高水準である一方、ターンあたりのツールコール平均は0.5回にとどまっており、他モデルと比較して低い値となっている。