IdeaTaste、研究アイデアで人間に及ばず
HuggingFace2026年11月4日 (水)
- •IdeaTasteが6つの言語モデルの研究提案を、4分野の2026年論文と比較
- •9万件超の提案で、引用の一致は人間の26％、アイデアの一致は18％
- •専門家評価で成功見込みに最大の差、文脈やエージェント数を増やしても差は縮小せず
研究チームは、言語モデルの研究提案を同じ研究コミュニティが2026年に発表した論文と比較するベンチマーク「IdeaTaste」を公開しました。2025年時点で固定した文献データを使って提案を促し、その内容が後の研究とどの程度一致するかを測ります。対象は6つの言語モデル、成熟度の異なる4つの研究分野、9万件超の提案です。
実験では、AIエージェントによる引用の一致度は人間の約26％、アイデアの一致度は18％でした。エージェント集団が引用する文献の多様さや、選ぶ課題・手法は人間の研究コミュニティと同程度でしたが、コミュニティが後に採用した具体的な手法や研究計画はほとんど生み出せませんでした。分野の背景情報を増やしたり、エージェント集団を大きくしたりしても、この差は大きく縮まりませんでした。
専門家によるブラインド評価では、AIの提案は表現面で2026年の論文に最も近く、成功の見込みで最も大きく差をつけられました。人間の論文にアイデアが見当たらない提案は、評価が最も低くなりました。著者らは、幅広い研究の方向性を具体的な手法に落とし込むことが中心的な課題だと述べています。IdeaTasteは公開リーダーボードとして提供され、今後の論文発表サイクルに合わせて継続的に更新されます。