코딩 에이전트 하네스, 비용 최대 3배 차이

중국 산둥대와 미국 UC버클리 연구진은 온라인 아카이브에 공개한 연구에서 코딩 에이전트 하네스 3종을 비교한 결과, 하네스에 따라 과제당 비용은 최대 3배 차이 났지만 코드 작성 성공률 차이는 통계적 오차 범위에 머물렀다고 밝혔습니다. 하네스는 AI 모델이 코드를 수정하고 도구를 호출해 작업하도록 지원하는 실행 환경입니다. 비교 대상은 앤트로픽의 클로드 코드, 오픈소스 도구 오픈코드, 최소 기능으로 구성된 미니-SWE-에이전트였습니다.

연구진은 오픈웨이트 모델 큐원3.6-35B-A3B와 큐원3.8-27B, API 기반 모델 딥시크-V4-플래시·GLM-5.3-플래시·HY4-프리뷰 등 5종을 시험하고, 기준 모델로 클로드 코드에서 실행한 클로드 오퍼스 5를 포함했습니다. 평가는 코드 수정 능력을 측정하는 SWE-벤치 베리파이드의 오프라인 과제 492개로 진행했습니다. 이 가운데 사람이 해결하는 데 1~4시간 이상 걸리는 어려운 과제 45개와 나머지 447개를 나눠 분석했습니다.

난도가 높은 과제에서는 하네스를 바꿀 때마다 약 13%의 문제가 성공과 실패 사이를 오갔지만, 동일한 하네스로 반복 실행했을 때도 비슷한 변동이 나타났습니다. 연구진은 하네스별 성능 차이로 보이는 결과 중 상당 부분이 실행 때마다 생기는 확률적 변동일 수 있다고 설명했습니다. 모델 제작사가 자사 모델에 맞춰 만든 하네스도 더 높은 성공률을 일관되게 보이지 않았습니다. 딥시크의 공식 명령줄 하네스 역시 성공률은 다른 하네스 범위에 있었지만 과제당 비용은 비교 대상 가운데 가장 높았습니다.

오픈코드는 대규모 과제에서 다른 환경보다 점수가 최대 9%포인트 낮았습니다. 그 차이의 절반가량은 출력 토큰 한도인 3만2000개에 도달해 코드 패치를 작성하기 전에 실행이 중단된 사례에서 나왔습니다. 클로드 코드에는 같은 한도에 닿으면 모델에 출력을 이어가도록 자동 요청하는 회복 기능이 있었습니다.

비용 차이는 첫 API 호출부터 발생했습니다. 시스템 프롬프트와 도구 정의에 담긴 고정 문맥은 클로드 코드에서 1만 토큰을 넘었지만 미니-SWE-에이전트에서는 800토큰대였습니다. 작업 단계가 늘면 이 차이가 비용 부담을 키웠습니다. 다만 딥시크 모델에서는 미니-SWE-에이전트가 호출을 더 많이 해 비용 순위가 역전되는 예외도 있어, 비용 효율은 모델과 작업 방식의 조합에 따라 달랐습니다. 연구진은 복잡한 하네스의 우수성을 한 번의 실행만으로 판단하지 말고 반복 검증과 충분한 과제를 확보하라고 권고했습니다. 프롬프트와 도구 정의를 간소화한 뒤 실제 사용할 모델에서 비용과 성능을 반복 측정하고, 개선이 확인된 기능만 남길 것을 제안했습니다.

중국 산둥대와 미국 UC버클리 연구진은 온라인 아카이브에 공개한 연구에서 코딩 에이전트 하네스 3종을 비교한 결과, 하네스에 따라 과제당 비용은 최대 3배 차이 났지만 코드 작성 성공률 차이는 통계적 오차 범위에 머물렀다고 밝혔습니다. 하네스는 AI 모델이 코드를 수정하고 도구를 호출해 작업하도록 지원하는 실행 환경입니다. 비교 대상은 앤트로픽의 클로드 코드, 오픈소스 도구 오픈코드, 최소 기능으로 구성된 미니-SWE-에이전트였습니다.

연구진은 오픈웨이트 모델 큐원3.6-35B-A3B와 큐원3.8-27B, API 기반 모델 딥시크-V4-플래시·GLM-5.3-플래시·HY4-프리뷰 등 5종을 시험하고, 기준 모델로 클로드 코드에서 실행한 클로드 오퍼스 5를 포함했습니다. 평가는 코드 수정 능력을 측정하는 SWE-벤치 베리파이드의 오프라인 과제 492개로 진행했습니다. 이 가운데 사람이 해결하는 데 1~4시간 이상 걸리는 어려운 과제 45개와 나머지 447개를 나눠 분석했습니다.

난도가 높은 과제에서는 하네스를 바꿀 때마다 약 13%의 문제가 성공과 실패 사이를 오갔지만, 동일한 하네스로 반복 실행했을 때도 비슷한 변동이 나타났습니다. 연구진은 하네스별 성능 차이로 보이는 결과 중 상당 부분이 실행 때마다 생기는 확률적 변동일 수 있다고 설명했습니다. 모델 제작사가 자사 모델에 맞춰 만든 하네스도 더 높은 성공률을 일관되게 보이지 않았습니다. 딥시크의 공식 명령줄 하네스 역시 성공률은 다른 하네스 범위에 있었지만 과제당 비용은 비교 대상 가운데 가장 높았습니다.

오픈코드는 대규모 과제에서 다른 환경보다 점수가 최대 9%포인트 낮았습니다. 그 차이의 절반가량은 출력 토큰 한도인 3만2000개에 도달해 코드 패치를 작성하기 전에 실행이 중단된 사례에서 나왔습니다. 클로드 코드에는 같은 한도에 닿으면 모델에 출력을 이어가도록 자동 요청하는 회복 기능이 있었습니다.

비용 차이는 첫 API 호출부터 발생했습니다. 시스템 프롬프트와 도구 정의에 담긴 고정 문맥은 클로드 코드에서 1만 토큰을 넘었지만 미니-SWE-에이전트에서는 800토큰대였습니다. 작업 단계가 늘면 이 차이가 비용 부담을 키웠습니다. 다만 딥시크 모델에서는 미니-SWE-에이전트가 호출을 더 많이 해 비용 순위가 역전되는 예외도 있어, 비용 효율은 모델과 작업 방식의 조합에 따라 달랐습니다. 연구진은 복잡한 하네스의 우수성을 한 번의 실행만으로 판단하지 말고 반복 검증과 충분한 과제를 확보하라고 권고했습니다. 프롬프트와 도구 정의를 간소화한 뒤 실제 사용할 모델에서 비용과 성능을 반복 측정하고, 개선이 확인된 기능만 남길 것을 제안했습니다.