지난 몇 년간 AI 커뮤니티는 벤치마크를 저렴하게 점수를 매길 수 있는 정적인 지능 평가 시험처럼 다루어 왔다. 하지만 모델이 도구를 사용하고 웹을 탐색하며 장기적인 계획을 수립하는 에이전트 시스템으로 진화함에 따라 평가 비용이 천정부지로 치솟고 있다. 이제 AI의 성능 검증은 단순한 부수적 작업이 아니라 상당한 컴퓨팅 자원을 요구하는 핵심 운영 과정이 되었으며, 업계의 성장을 저해하는 새로운 병목 현상으로 자리 잡았다.

홀리스틱 에이전트 리더보드(HAL)의 사례가 이를 잘 보여준다. 이들은 최근 소수의 모델을 에이전트 기반 벤치마크로 테스트하는 데만 4만 달러를 지출했다. 기존 방식처럼 수천 개의 질문을 API에 던지고 정답을 세는 것과 달리, 에이전트 평가는 AI가 다단계 과제를 수행하는 전 과정을 관찰해야 한다. 이때 외부 세계와 AI의 상호작용을 돕는 소프트웨어 래퍼인 '스캐폴드'가 필수적으로 동반되는데, 이 과정은 매우 민감하고 비용 변동성이 크다.

근본적인 문제는 모델의 원시 예측 능력을 시험하던 정적인 벤치마크와 달리, 에이전트 평가는 영리한 지름길을 허용하지 않는다는 점이다. 과거에는 정확도 손실 없이 테스트를 100배에서 200배까지 압축할 수 있었지만, 동적인 다회차 상호작용이 필요한 에이전트 평가에서는 데이터 하위 샘플링조차 불가능하다. 나아가 일부 최신 벤치마크는 평가 과정 중에 모델이 스스로 학습하거나 최적화해야 하는 '트레이닝-인-더-루프' 방식을 요구한다. 결과적으로 평가 자체가 거대한 GPU 자원을 소모하는 실험의 성격을 띠게 된다.

이러한 변화는 독립 연구자나 학계 그룹에 우려스러운 '책임 격차'를 초래하고 있다. 엄격한 평가를 한 번 수행하는 데 학생들의 연간 여행 예산 수준이거나 1만 달러가 넘는 비용이 든다면, 대규모 산업 자본이 없는 이들은 AI 시스템의 성능을 독자적으로 검증할 방법이 없어진다. 현재의 비반복적 테스트 기반의 정확도 보고 방식은 통계적 신뢰성을 확보하기에 턱없이 부족하며, 이를 보완하려면 지금보다 여덟 배 이상의 비용이 필요하다.

결국 우리는 AI가 더욱 고도화될수록 거대 기업만이 시스템의 실제 성능을 입증할 수 있는 시대로 나아가고 있다. 이러한 상황에서 독립적인 검증이 불가능해진다면, AI의 투명성과 신뢰성을 확보하는 일은 점차 요원해질 것이다. AI 에이전트 시대가 가속화되는 현시점에서, 평가 비용 문제에 대한 심도 깊은 논의가 절실한 시점이다.

지난 몇 년간 AI 커뮤니티는 벤치마크를 저렴하게 점수를 매길 수 있는 정적인 지능 평가 시험처럼 다루어 왔다. 하지만 모델이 도구를 사용하고 웹을 탐색하며 장기적인 계획을 수립하는 에이전트 시스템으로 진화함에 따라 평가 비용이 천정부지로 치솟고 있다. 이제 AI의 성능 검증은 단순한 부수적 작업이 아니라 상당한 컴퓨팅 자원을 요구하는 핵심 운영 과정이 되었으며, 업계의 성장을 저해하는 새로운 병목 현상으로 자리 잡았다.

홀리스틱 에이전트 리더보드(HAL)의 사례가 이를 잘 보여준다. 이들은 최근 소수의 모델을 에이전트 기반 벤치마크로 테스트하는 데만 4만 달러를 지출했다. 기존 방식처럼 수천 개의 질문을 API에 던지고 정답을 세는 것과 달리, 에이전트 평가는 AI가 다단계 과제를 수행하는 전 과정을 관찰해야 한다. 이때 외부 세계와 AI의 상호작용을 돕는 소프트웨어 래퍼인 '스캐폴드'가 필수적으로 동반되는데, 이 과정은 매우 민감하고 비용 변동성이 크다.

근본적인 문제는 모델의 원시 예측 능력을 시험하던 정적인 벤치마크와 달리, 에이전트 평가는 영리한 지름길을 허용하지 않는다는 점이다. 과거에는 정확도 손실 없이 테스트를 100배에서 200배까지 압축할 수 있었지만, 동적인 다회차 상호작용이 필요한 에이전트 평가에서는 데이터 하위 샘플링조차 불가능하다. 나아가 일부 최신 벤치마크는 평가 과정 중에 모델이 스스로 학습하거나 최적화해야 하는 '트레이닝-인-더-루프' 방식을 요구한다. 결과적으로 평가 자체가 거대한 GPU 자원을 소모하는 실험의 성격을 띠게 된다.

이러한 변화는 독립 연구자나 학계 그룹에 우려스러운 '책임 격차'를 초래하고 있다. 엄격한 평가를 한 번 수행하는 데 학생들의 연간 여행 예산 수준이거나 1만 달러가 넘는 비용이 든다면, 대규모 산업 자본이 없는 이들은 AI 시스템의 성능을 독자적으로 검증할 방법이 없어진다. 현재의 비반복적 테스트 기반의 정확도 보고 방식은 통계적 신뢰성을 확보하기에 턱없이 부족하며, 이를 보완하려면 지금보다 여덟 배 이상의 비용이 필요하다.

결국 우리는 AI가 더욱 고도화될수록 거대 기업만이 시스템의 실제 성능을 입증할 수 있는 시대로 나아가고 있다. 이러한 상황에서 독립적인 검증이 불가능해진다면, AI의 투명성과 신뢰성을 확보하는 일은 점차 요원해질 것이다. AI 에이전트 시대가 가속화되는 현시점에서, 평가 비용 문제에 대한 심도 깊은 논의가 절실한 시점이다.