Meta AI의 연구 부문이 AI 에이전트가 과학적 발견 과정을 얼마나 잘 수행하는지 측정하는 정교한 평가 도구인 AIRS-Bench(AI Research Science Benchmark)를 선보였다. 이는 단순한 지식이나 코딩 능력을 묻는 기존 테스트와 달리, 연구의 전체 생애 주기를 아우르는 능력을 평가하도록 설계됐다. 특히 초기 아이디어 구상부터 실험 데이터 분석, 그리고 논문의 완성도를 높이는 반복적인 수정 과정까지 모두 포함된다는 점이 특징이다.

이 벤치마크는 생물정보학, 수학, 시계열 예측 등 다양한 분야의 수준 높은 머신러닝 논문에서 추출한 20개의 도전적인 과제로 구성됐다. 특히 연구진은 AI에게 기초 코드를 전혀 제공하지 않아, 에이전트가 모든 문제를 처음부터 스스로 해결하도록 유도했다. 그 결과 현재 AI 기술의 흥미로운 한계가 드러났다. 이들 디지털 연구원들은 특정 4개 분야에서는 인간의 성과를 앞질렀지만, 나머지 16개 분야에서는 여전히 인간에게 미치지 못하는 것으로 나타났다.

성과를 낸 분야에서도 아직 이론적 최고 성능에는 도달하지 못했다는 점은 자율 연구 AI가 갈 길이 멀다는 사실을 시사한다. 이에 따라 Meta AI는 평가 코드와 과제 정의를 오픈소스로 공개하여 글로벌 연구 커뮤니티가 각자의 모델을 엄격하게 테스트하도록 독려하고 있다. 이는 대규모 언어 모델 (LLM)을 단순한 챗봇이 아닌 실험실의 잠재적 협업자로 바라보기 시작했음을 의미한다. 앞으로 에이전틱 AI가 진화함에 따라, AIRS-Bench는 진정한 자율 과학 발전에 얼마나 근접했는지를 측정하는 핵심 척도가 될 전망이다.

Meta AI의 연구 부문이 AI 에이전트가 과학적 발견 과정을 얼마나 잘 수행하는지 측정하는 정교한 평가 도구인 AIRS-Bench(AI Research Science Benchmark)를 선보였다. 이는 단순한 지식이나 코딩 능력을 묻는 기존 테스트와 달리, 연구의 전체 생애 주기를 아우르는 능력을 평가하도록 설계됐다. 특히 초기 아이디어 구상부터 실험 데이터 분석, 그리고 논문의 완성도를 높이는 반복적인 수정 과정까지 모두 포함된다는 점이 특징이다.

이 벤치마크는 생물정보학, 수학, 시계열 예측 등 다양한 분야의 수준 높은 머신러닝 논문에서 추출한 20개의 도전적인 과제로 구성됐다. 특히 연구진은 AI에게 기초 코드를 전혀 제공하지 않아, 에이전트가 모든 문제를 처음부터 스스로 해결하도록 유도했다. 그 결과 현재 AI 기술의 흥미로운 한계가 드러났다. 이들 디지털 연구원들은 특정 4개 분야에서는 인간의 성과를 앞질렀지만, 나머지 16개 분야에서는 여전히 인간에게 미치지 못하는 것으로 나타났다.

성과를 낸 분야에서도 아직 이론적 최고 성능에는 도달하지 못했다는 점은 자율 연구 AI가 갈 길이 멀다는 사실을 시사한다. 이에 따라 Meta AI는 평가 코드와 과제 정의를 오픈소스로 공개하여 글로벌 연구 커뮤니티가 각자의 모델을 엄격하게 테스트하도록 독려하고 있다. 이는 대규모 언어 모델 (LLM)을 단순한 챗봇이 아닌 실험실의 잠재적 협업자로 바라보기 시작했음을 의미한다. 앞으로 에이전틱 AI가 진화함에 따라, AIRS-Bench는 진정한 자율 과학 발전에 얼마나 근접했는지를 측정하는 핵심 척도가 될 전망이다.