IdeaTaste, 연구 아이디어서 연구자에 뒤처져

연구진은 언어 모델의 연구 제안을 2026년 같은 연구 공동체가 발표한 논문과 비교하는 벤치마크 IdeaTaste를 공개했습니다. 2025년 시점으로 고정한 문헌 자료를 바탕으로 제안을 생성한 뒤, 이후 발표된 연구와 얼마나 일치하는지 측정합니다. 연구에는 언어 모델 6개, 확립된 분야부터 신흥 분야까지 4개 연구 영역, 9만 건이 넘는 제안이 포함됐습니다.

실험에서 AI 에이전트의 인용 일치율은 인간 수준의 약 26%, 아이디어 일치율은 18%였습니다. 에이전트 집단은 인간 연구 공동체만큼 다양한 문헌을 인용하고 비슷한 과제와 방법을 선택했지만, 공동체가 이후 실제로 추진한 구체적 접근법과 연구 계획은 거의 제시하지 못했습니다. 분야 맥락을 더 풍부하게 제공하거나 에이전트 집단을 키워도 격차는 크게 줄지 않았습니다.

전문가들이 제안을 가려서 평가한 결과, AI 제안은 표현 방식에서 2026년 논문에 가장 가까웠고 예상 성공 가능성에서는 가장 크게 뒤처졌습니다. 어떤 인간 논문에도 나타나지 않은 아이디어를 담은 제안은 가장 낮은 평가를 받았습니다. 저자들은 핵심 격차가 폭넓은 연구 방향을 구체적인 접근법으로 발전시키는 데 있다고 밝혔습니다. 연구진은 앞으로 발표될 논문 주기와 AI 제안을 계속 비교할 수 있도록 IdeaTaste를 지속적으로 갱신되는 공개 순위표로 공개했습니다.

연구진은 언어 모델의 연구 제안을 2026년 같은 연구 공동체가 발표한 논문과 비교하는 벤치마크 IdeaTaste를 공개했습니다. 2025년 시점으로 고정한 문헌 자료를 바탕으로 제안을 생성한 뒤, 이후 발표된 연구와 얼마나 일치하는지 측정합니다. 연구에는 언어 모델 6개, 확립된 분야부터 신흥 분야까지 4개 연구 영역, 9만 건이 넘는 제안이 포함됐습니다.

실험에서 AI 에이전트의 인용 일치율은 인간 수준의 약 26%, 아이디어 일치율은 18%였습니다. 에이전트 집단은 인간 연구 공동체만큼 다양한 문헌을 인용하고 비슷한 과제와 방법을 선택했지만, 공동체가 이후 실제로 추진한 구체적 접근법과 연구 계획은 거의 제시하지 못했습니다. 분야 맥락을 더 풍부하게 제공하거나 에이전트 집단을 키워도 격차는 크게 줄지 않았습니다.

전문가들이 제안을 가려서 평가한 결과, AI 제안은 표현 방식에서 2026년 논문에 가장 가까웠고 예상 성공 가능성에서는 가장 크게 뒤처졌습니다. 어떤 인간 논문에도 나타나지 않은 아이디어를 담은 제안은 가장 낮은 평가를 받았습니다. 저자들은 핵심 격차가 폭넓은 연구 방향을 구체적인 접근법으로 발전시키는 데 있다고 밝혔습니다. 연구진은 앞으로 발표될 논문 주기와 AI 제안을 계속 비교할 수 있도록 IdeaTaste를 지속적으로 갱신되는 공개 순위표로 공개했습니다.