AI 연구 개발의 비용 효율성을 측정하는 새로운 지표
- •연구진이 AI와 인간의 비용 대비 성과를 비교해 AI의 최적화 능력을 평가하는 '지출 지평선(Expenditure Horizon)' 지표를 제시했다.
- •NanoGPT 최적화 데이터 분석 결과, 인간 노동력으로 1%의 성능 개선을 이룰 때마다 약 2,500달러의 비용이 소요되는 것으로 나타났다.
- •GPT-5.5와 Opus-4.8은 테스트에서 가시적인 지출 지평선을 보였으나, 전체 연구 개발 가속화 효과는 아직 완만한 수준이다.
연구진은 AI 에이전트의 최적화 능력을 정량화하기 위해 '지출 지평선(Expenditure Horizon)'이라는 지표를 제안했다. 이는 인간의 노동력이 AI보다 비용 효율적이지 않게 되는 정확한 예산 지점을 파악하려는 목적을 가진다. 인간과 AI의 비용 대비 성과 곡선을 대조함으로써 이 지표는 이진법적인 성공 여부를 넘어선 연속적인 성능 측정치를 제공한다. 연구진은 AI 학습 알고리즘 최적화를 위한 벤치마크인 NanoGPT 사례를 통해, 인간 노동력이 1%의 성능을 향상시키는 데 평균 2,500달러가 소요된다고 추산했다.
NanoGPT를 대상으로 한 예비 테스트에서는 10,000달러 이상의 지출을 동반한 자율 최적화 실행을 분석했다. 모델별로 결과는 엇갈렸는데, GPT-5와 Opus-4.1은 통계적 노이즈 수준에 머물며 최종 성능 개선을 보여주지 못한 반면, GPT-5.5와 Opus-4.8은 상당한 개선과 함께 수천 달러 단위의 측정 가능한 지출 지평선을 확인했다. 해당 실험에서 컴퓨팅 비용이 총 지출의 70~90%를 차지했다는 점은 현재의 에이전틱 AI 테스트 방식이 비효율적일 수 있음을 시사한다.
이번 지출 지평선 접근 방식은 컴퓨팅 및 토큰 비용과 같은 자원 제약을 포함함으로써 기존 AI 연구 개발 벤치마크의 한계를 보완한다. 비록 현재의 자율 최적화가 인간의 노력 대비 연구 개발 진척에 미치는 영향은 완만하지만, 연구진은 이 방법론이 향후 인간과 AI의 협업 시스템을 평가하는 데도 적용 가능하다고 강조했다. 다만, 노동 투입에 따른 수익이 완만한 문제에 가장 효과적이며, 이미 이전 에이전트들에 의해 고도로 최적화된 작업에서는 더 짧은 지평선을 보일 수 있다고 덧붙였다.