발스 AI, AI 과학 연구 능력 순위 공개…모델별 강점 상이

발스 AI(Vals AI)는 지난 16일(현지시간) AI의 과학 연구 능력을 하나의 점수로 측정하는 '발스 사이언스 인덱스(Vals Science Index)'를 처음 공개했습니다. 이 지수는 생물학 데이터 분석, 실험을 통한 원리 발견, 실제 과학 연구 작업을 평가하며, 기존 과학 벤치마크 3개(앤트로픽의 바이오미스터리벤치, 발스 AI의 미스터리메커니즘, 터미널벤치 사이언스)를 동일한 비중으로 결합한 것입니다.

이번 평가에는 21개 AI 모델이 참여했습니다. 오픈AI의 GPT-6 아스트라가 65.09%로 1위를 차지했으며, GPT-6.1 솔이 59.63%, 클로드 소네트 5.5가 59.12%로 뒤를 이었습니다. 클로드 오퍼스 5.5는 58.65%로 4위, 구글의 제미나이 4 아르곤은 55.36%로 5위였습니다. 아스트라는 2위와 5%포인트 이상 차이로 종합 1위에 올랐습니다.

세부 결과는 모델마다 강점이 다르다는 점을 보여줍니다. 아스트라는 숨겨진 원리 탐색과 실제 과학 연구 작업에서 1위였지만 생물학 데이터 분석에서는 3위였습니다. 이 분야는 클로드 소네트 5.5가 1위였습니다. 세분화하면 생명과학과 수학은 아스트라, 물리학과 공학은 클로드 소네트 5.5, 지구과학은 GPT-6.1 솔이 가장 높았습니다.

발스 AI가 운영하는 기존 종합 지수에서는 순위가 달랐습니다. 금융, 코딩, 법률, 세무 등 실제 업무 수행 능력을 GDP 산업 비중까지 반영해 평가하는 이 지수에서 제미나이 4 아르곤이 68.90%로 1위였고, 과학 지수 1위인 아스트라는 63.13%로 7위였습니다. 발스 AI는 이를 통해 하나의 종합 점수로 최고 모델을 판단하기 어렵다는 점을 보여줬습니다.

발스 AI는 2024년 설립된 미국의 AI 평가 전문 스타트업으로, 지난 8월 앤드리슨 호로위츠(a16z)가 주도한 투자에서 4000만달러를 유치하며 기업가치 4억달러를 인정받았습니다. 회사에 따르면 오픈AI, 앤트로픽, 구글, 메타 등이 모델 성능을 발표할 때 발스 AI의 평가 결과를 인용하고 있으며, 올해 들어 8월까지의 매출이 지난해 연간 매출의 8배에 달했습니다.

이번 지수는 기존 과학 벤치마크가 이미 알려진 지식의 기억과 정답 여부에 치중해 왔다는 한계를 지적하며 만들어졌습니다. 회사는 실제 과학 연구에 필요한 데이터 분석과 가설 검증, 관찰만으로 원리를 추론하는 능력을 측정하겠다는 취지를 밝혔습니다. 다만 이번에 새 평가 방법을 개발한 것은 아니며, 세 벤치마크의 평균일 뿐 AI가 독립적으로 과학적 발견을 완수한다는 의미는 아니라고 설명했습니다.

발스 AI(Vals AI)는 지난 16일(현지시간) AI의 과학 연구 능력을 하나의 점수로 측정하는 '발스 사이언스 인덱스(Vals Science Index)'를 처음 공개했습니다. 이 지수는 생물학 데이터 분석, 실험을 통한 원리 발견, 실제 과학 연구 작업을 평가하며, 기존 과학 벤치마크 3개(앤트로픽의 바이오미스터리벤치, 발스 AI의 미스터리메커니즘, 터미널벤치 사이언스)를 동일한 비중으로 결합한 것입니다.

이번 평가에는 21개 AI 모델이 참여했습니다. 오픈AI의 GPT-6 아스트라가 65.09%로 1위를 차지했으며, GPT-6.1 솔이 59.63%, 클로드 소네트 5.5가 59.12%로 뒤를 이었습니다. 클로드 오퍼스 5.5는 58.65%로 4위, 구글의 제미나이 4 아르곤은 55.36%로 5위였습니다. 아스트라는 2위와 5%포인트 이상 차이로 종합 1위에 올랐습니다.

세부 결과는 모델마다 강점이 다르다는 점을 보여줍니다. 아스트라는 숨겨진 원리 탐색과 실제 과학 연구 작업에서 1위였지만 생물학 데이터 분석에서는 3위였습니다. 이 분야는 클로드 소네트 5.5가 1위였습니다. 세분화하면 생명과학과 수학은 아스트라, 물리학과 공학은 클로드 소네트 5.5, 지구과학은 GPT-6.1 솔이 가장 높았습니다.

발스 AI가 운영하는 기존 종합 지수에서는 순위가 달랐습니다. 금융, 코딩, 법률, 세무 등 실제 업무 수행 능력을 GDP 산업 비중까지 반영해 평가하는 이 지수에서 제미나이 4 아르곤이 68.90%로 1위였고, 과학 지수 1위인 아스트라는 63.13%로 7위였습니다. 발스 AI는 이를 통해 하나의 종합 점수로 최고 모델을 판단하기 어렵다는 점을 보여줬습니다.

발스 AI는 2024년 설립된 미국의 AI 평가 전문 스타트업으로, 지난 8월 앤드리슨 호로위츠(a16z)가 주도한 투자에서 4000만달러를 유치하며 기업가치 4억달러를 인정받았습니다. 회사에 따르면 오픈AI, 앤트로픽, 구글, 메타 등이 모델 성능을 발표할 때 발스 AI의 평가 결과를 인용하고 있으며, 올해 들어 8월까지의 매출이 지난해 연간 매출의 8배에 달했습니다.

이번 지수는 기존 과학 벤치마크가 이미 알려진 지식의 기억과 정답 여부에 치중해 왔다는 한계를 지적하며 만들어졌습니다. 회사는 실제 과학 연구에 필요한 데이터 분석과 가설 검증, 관찰만으로 원리를 추론하는 능력을 측정하겠다는 취지를 밝혔습니다. 다만 이번에 새 평가 방법을 개발한 것은 아니며, 세 벤치마크의 평균일 뿐 AI가 독립적으로 과학적 발견을 완수한다는 의미는 아니라고 설명했습니다.