MS·UC버클리, 코딩 에이전트 비용 절감 도구 공개

마이크로소프트와 UC버클리 연구진은 AI 코딩 에이전트의 작업 성공률을 유지하면서 모델 이용 비용을 최대 30.9% 줄이는 오픈소스 플러그인 ‘토큰이코노마이저(TokenEconomizer)’를 공개했습니다. 연구진은 논문 사전 공개 사이트 arXiv에 플러그인을 공개했으며, Claude Code, Codex, GitHub Copilot CLI, 파이 등과 연동할 수 있습니다. 모델 가중치나 내부 구조를 바꾸지 않고 외부에서 작동합니다.

연구진은 SWE-bench의 코드 저장소 6곳에서 작업 277개를 대상으로 에이전트·모델 조합 5가지를 평가했습니다. 기존 실행 방식보다 비용이 18.4~30.9% 감소했습니다. 작업 성공률 지표인 Pass@1은 5개 조합 중 4개에서 높아졌고, 나머지 1개에서는 1%포인트 하락했습니다. 비용 계산에는 입력 토큰 캐시 재사용에 따른 요금 차이와 추가 모델 호출 비용도 포함됐습니다.

같은 저장소에서 작업을 반복할수록 절감 효과가 커졌습니다. 초기에는 이전 작업 기록이 부족해 비용이 늘어나는 경우도 있었지만, 평가한 모든 저장소에서 여섯 번째 작업부터 누적 비용이 기존 방식보다 낮아졌습니다. 연구진은 에이전트가 전에 확인한 정보를 다시 찾고 사용하지 않는 도구 설명까지 불러오는 일을 비용 낭비 요인으로 꼽았습니다. Claude Code를 이용한 실험에서는 5개 이상의 작업을 수행한 뒤 도구 호출의 약 30%가 이전 행동을 반복했고, 매번 불러온 도구 23개 중 16개는 실제로 사용되지 않았습니다.

실패 실행 10건은 분석 대상 작업의 17%였지만 전체 비용의 32%를 차지했습니다. 같은 오류를 고치려고 수정을 거듭하고 시험하는 동안 토큰을 계속 사용했기 때문입니다. 토큰이코노마이저는 세 기능으로 이런 반복을 줄입니다. ‘마이크로 스킬’은 과거 작업에서 확인한 정보를 짧은 지침으로 저장해 다음 작업에 활용하고, ‘도구 정리’는 쓰지 않은 도구를 다음 세션 목록에서 빼되 파일 읽기·쓰기 같은 핵심 도구는 유지하며 주기적으로 전체 목록을 확인합니다. ‘실패 루프 개입’은 같은 오류가 반복되거나 진전이 없을 때 다른 해결법을 시도하도록 안내하고, 실패가 계속되면 중단을 권고합니다. 플러그인이 작업을 임의로 강제 종료하지는 않습니다.

명령 출력이나 코드 구조를 고정된 방식으로 압축하는 기존 토큰 절감 도구와 달리, 토큰이코노마이저는 과거 작업 결과를 바탕으로 저장소별 최적화 전략을 조정합니다. 연구진은 웹 개발 벤치마크 Web-Bench에서도 비용이 16.0~21.2% 줄었다고 보고했으며, 절감 폭은 작업 종류와 실행 환경에 따라 달랐습니다. 플러그인은 GitHub에 오픈소스로 공개됐고 별도 GPU 없이 코딩 에이전트에 적용할 수 있습니다. 추가 모델 호출이 필요한 마이크로 스킬은 기본 비활성화 상태여서, 실제 절감 효과는 활성화 기능과 작업 환경에 따라 달라질 수 있습니다. 연구진은 실제 개발자의 장기간 작업 기록이 아니라 같은 저장소에서 이어지는 코드 수정 과제를 평가했다는 한계를 밝혔습니다. 실제 개발 환경의 효과는 추가 검증이 필요하다고 설명했습니다.

마이크로소프트와 UC버클리 연구진은 AI 코딩 에이전트의 작업 성공률을 유지하면서 모델 이용 비용을 최대 30.9% 줄이는 오픈소스 플러그인 ‘토큰이코노마이저(TokenEconomizer)’를 공개했습니다. 연구진은 논문 사전 공개 사이트 arXiv에 플러그인을 공개했으며, Claude Code, Codex, GitHub Copilot CLI, 파이 등과 연동할 수 있습니다. 모델 가중치나 내부 구조를 바꾸지 않고 외부에서 작동합니다.

연구진은 SWE-bench의 코드 저장소 6곳에서 작업 277개를 대상으로 에이전트·모델 조합 5가지를 평가했습니다. 기존 실행 방식보다 비용이 18.4~30.9% 감소했습니다. 작업 성공률 지표인 Pass@1은 5개 조합 중 4개에서 높아졌고, 나머지 1개에서는 1%포인트 하락했습니다. 비용 계산에는 입력 토큰 캐시 재사용에 따른 요금 차이와 추가 모델 호출 비용도 포함됐습니다.

같은 저장소에서 작업을 반복할수록 절감 효과가 커졌습니다. 초기에는 이전 작업 기록이 부족해 비용이 늘어나는 경우도 있었지만, 평가한 모든 저장소에서 여섯 번째 작업부터 누적 비용이 기존 방식보다 낮아졌습니다. 연구진은 에이전트가 전에 확인한 정보를 다시 찾고 사용하지 않는 도구 설명까지 불러오는 일을 비용 낭비 요인으로 꼽았습니다. Claude Code를 이용한 실험에서는 5개 이상의 작업을 수행한 뒤 도구 호출의 약 30%가 이전 행동을 반복했고, 매번 불러온 도구 23개 중 16개는 실제로 사용되지 않았습니다.

실패 실행 10건은 분석 대상 작업의 17%였지만 전체 비용의 32%를 차지했습니다. 같은 오류를 고치려고 수정을 거듭하고 시험하는 동안 토큰을 계속 사용했기 때문입니다. 토큰이코노마이저는 세 기능으로 이런 반복을 줄입니다. ‘마이크로 스킬’은 과거 작업에서 확인한 정보를 짧은 지침으로 저장해 다음 작업에 활용하고, ‘도구 정리’는 쓰지 않은 도구를 다음 세션 목록에서 빼되 파일 읽기·쓰기 같은 핵심 도구는 유지하며 주기적으로 전체 목록을 확인합니다. ‘실패 루프 개입’은 같은 오류가 반복되거나 진전이 없을 때 다른 해결법을 시도하도록 안내하고, 실패가 계속되면 중단을 권고합니다. 플러그인이 작업을 임의로 강제 종료하지는 않습니다.

명령 출력이나 코드 구조를 고정된 방식으로 압축하는 기존 토큰 절감 도구와 달리, 토큰이코노마이저는 과거 작업 결과를 바탕으로 저장소별 최적화 전략을 조정합니다. 연구진은 웹 개발 벤치마크 Web-Bench에서도 비용이 16.0~21.2% 줄었다고 보고했으며, 절감 폭은 작업 종류와 실행 환경에 따라 달랐습니다. 플러그인은 GitHub에 오픈소스로 공개됐고 별도 GPU 없이 코딩 에이전트에 적용할 수 있습니다. 추가 모델 호출이 필요한 마이크로 스킬은 기본 비활성화 상태여서, 실제 절감 효과는 활성화 기능과 작업 환경에 따라 달라질 수 있습니다. 연구진은 실제 개발자의 장기간 작업 기록이 아니라 같은 저장소에서 이어지는 코드 수정 과제를 평가했다는 한계를 밝혔습니다. 실제 개발 환경의 효과는 추가 검증이 필요하다고 설명했습니다.