SWE-CoWork, 업무형 코딩 에이전트 101건 평가
- •SWE-CoWork 연구진, 실제 저장소와 모의 조직을 활용한 코딩 에이전트 평가 기준 공개
- •상위 두 모델, 실패 테스트 63%가량 통과했지만 과제 완료율은 8% 미만
- •요구사항 전체 제공 시 두 모델의 테스트 통과율 16%포인트가량 상승, 과제 완료율은 그대로
연구진은 11월 15일 발표된 논문에서 모의 조직의 소프트웨어 과제로 코딩 에이전트를 평가하는 기준인 SWE-CoWork를 공개했습니다. 11개 프로그래밍 언어와 12개 응용 분야에 걸쳐 실제 저장소 101곳에서 가져온 과제 101개를 담았습니다. 에이전트는 간단한 업무 인수인계 내용을 받은 뒤 모의 동료 26명과 직장 기록에서 요구사항을 수집하고, 서로 충돌하는 정보를 조정해 변경 사항을 구현한 다음 비공개 실행 테스트를 통과해야 합니다.
연구진은 모델 11개를 평가했습니다. 상위 두 모델은 이전에 실패한 테스트가 통과하도록 바뀌었는지를 확인하는 실패-통과 테스트의 63%가량을 통과했지만, 과제 완료율은 8% 미만이었습니다. Seed Evolving과 GPT-6 Astra에 요구사항 전체를 미리 제공하자 두 모델의 실패-통과 테스트 통과율은 16%포인트가량 상승했지만, 과제 전체 성공률은 달라지지 않았습니다.
세부 분석에서는 작업 전달 과정 전반의 문제도 드러났습니다. Claude-Opus-5.5는 여러 차례 실행에서 조회한 카드에 관한 첫 질문의 평균 93%를 담당 동료에게 했지만, 동료들이 보유한 요구사항 중 찾아낸 것은 64%에 그쳤습니다. 에이전트는 답변이 미뤄진 질문을 다시 확인하지 않았고, 요구사항을 파악한 뒤에도 일부 구현을 끝내지 못했습니다. 또 완료했다고 표시한 요구사항 가운데 31%가 테스트에 실패했습니다. 저자들은 확인 질문부터 구현, 검증, 인수인계까지 요구사항을 지속적으로 추적하는 일이 신뢰할 수 있는 자율 소프트웨어 개발의 핵심 과제라고 밝혔습니다.
가장 빠르고 정확한 AI 소식, 이메일로 받아보세요
