SWE-bench와 같은 기존 AI 코딩 벤치마크는 상위 모델들이 80% 이상의 성공률을 기록하며 점차 정복되는 추세다. 하지만 이러한 테스트는 대개 단일 리포지토리 내의 지엽적인 버그 수정에 집중되어 있어, 실제 전문 소프트웨어 엔지니어링의 복잡한 현실을 충분히 반영하지 못한다는 지적을 받아왔다. 이에 연구진은 여러 저장소를 넘나드는 추론과 시스템 전반의 코드 생성을 요구하는 500개의 엄격한 과제로 구성된 BeyondSWE를 선보였다.

평가 결과는 AI 업계에 시사하는 바가 크다. 현재 가장 앞선 성능을 자랑하는 모델들조차 작업 범위가 넓어지자 성공률이 45% 미만으로 급격히 정체되는 모습을 보였다. 특히 이 벤치마크를 통해 모든 카테고리를 압도하는 단일 모델은 아직 존재하지 않음이 확인됐다. 실제로 특정 버그 수정에는 능숙한 모델이 의존성 마이그레이션이나 전체 리포지토리 구축 과제에서는 고전하는 양상을 보였다.

연구팀은 또한 인터넷 검색 기능이 에이전트의 코딩 능력을 향상시키는지 확인하기 위해 SearchSWE 프레임워크를 분석했다. 놀랍게도 검색량이 늘어난다고 해서 반드시 결과가 좋아지는 것은 아니었다. 오히려 코딩에 특화된 일부 모델은 검색 기능이 추가되었을 때 성능이 더 떨어지는 현상이 관찰되기도 했다. 이는 외부 정보를 탐색하는 것과 이를 복잡한 논리에 적용하는 과정 사이의 조화가 자율형 AI 개발자에게 여전히 높은 진입장벽임을 시사한다.

SWE-bench와 같은 기존 AI 코딩 벤치마크는 상위 모델들이 80% 이상의 성공률을 기록하며 점차 정복되는 추세다. 하지만 이러한 테스트는 대개 단일 리포지토리 내의 지엽적인 버그 수정에 집중되어 있어, 실제 전문 소프트웨어 엔지니어링의 복잡한 현실을 충분히 반영하지 못한다는 지적을 받아왔다. 이에 연구진은 여러 저장소를 넘나드는 추론과 시스템 전반의 코드 생성을 요구하는 500개의 엄격한 과제로 구성된 BeyondSWE를 선보였다.

평가 결과는 AI 업계에 시사하는 바가 크다. 현재 가장 앞선 성능을 자랑하는 모델들조차 작업 범위가 넓어지자 성공률이 45% 미만으로 급격히 정체되는 모습을 보였다. 특히 이 벤치마크를 통해 모든 카테고리를 압도하는 단일 모델은 아직 존재하지 않음이 확인됐다. 실제로 특정 버그 수정에는 능숙한 모델이 의존성 마이그레이션이나 전체 리포지토리 구축 과제에서는 고전하는 양상을 보였다.

연구팀은 또한 인터넷 검색 기능이 에이전트의 코딩 능력을 향상시키는지 확인하기 위해 SearchSWE 프레임워크를 분석했다. 놀랍게도 검색량이 늘어난다고 해서 반드시 결과가 좋아지는 것은 아니었다. 오히려 코딩에 특화된 일부 모델은 검색 기능이 추가되었을 때 성능이 더 떨어지는 현상이 관찰되기도 했다. 이는 외부 정보를 탐색하는 것과 이를 복잡한 논리에 적용하는 과정 사이의 조화가 자율형 AI 개발자에게 여전히 높은 진입장벽임을 시사한다.