상하이교통대 연구진이 과거 버그 수정 내용을 역으로 활용해 현실적인 소프트웨어 공학 과제를 만드는 프레임워크 SWE-at-Scale을 공개했습니다. 「SWE-at-Scale: 과거 버그 수정 사례를 활용한 확장형 이슈 합성」 논문은 10월 15일 발표됐고 10월 16일 허깅페이스 페이퍼스에 제출됐습니다. 연구진은 코딩 에이전트 평가에 더 폭넓고 다양한 과제를 제공하는 것을 목표로 삼았습니다.

연구진은 실제 소프트웨어 이슈의 수가 개발자들의 보고 빈도에 좌우되고, 과제를 수작업으로 선별하는 데 비용이 많이 든다고 설명했습니다. 기존 합성 방식은 주로 대규모 모델의 사전 학습 지식과 휴리스틱 프롬프트에 의존하지만, 저자들은 이런 방법이 실제 소프트웨어 오류의 복잡한 작동 방식을 놓치는 경우가 많다고 지적했습니다. SWE-at-Scale은 실제 수정 사례를 버그가 생겨난 방식의 증거로 삼습니다. 수정 과정을 역으로 적용해 개발 상황에 기반한 버그 유도 사례를 만듭니다.

이 프레임워크는 학습한 버그 패턴을 익숙하지 않은 코드 맥락으로 옮기고, 여러 유형의 버그를 표본 추출해 실행 가능한 과제를 생성합니다. 실험에서 저자들은 이 방식으로 현재 기준 합성 방식보다 더 다양하고 현실적인 과제를 만들었으며, 최첨단 코딩 에이전트에는 더 어려운 과제를 제공했다고 보고했습니다. 하나의 코드 맥락에서도 서로 다른 버그 유형을 생성할 수 있었고, 파일당 200회 생성까지 버그 다양성이 안정적으로 확장됐다고 밝혔습니다. 연구진은 한정된 실제 버그 수정 사례를 재사용해 과제를 대규모로 생성하는 방법으로 이 접근법을 제시했습니다.

상하이교통대 연구진이 과거 버그 수정 내용을 역으로 활용해 현실적인 소프트웨어 공학 과제를 만드는 프레임워크 SWE-at-Scale을 공개했습니다. 「SWE-at-Scale: 과거 버그 수정 사례를 활용한 확장형 이슈 합성」 논문은 10월 15일 발표됐고 10월 16일 허깅페이스 페이퍼스에 제출됐습니다. 연구진은 코딩 에이전트 평가에 더 폭넓고 다양한 과제를 제공하는 것을 목표로 삼았습니다.

연구진은 실제 소프트웨어 이슈의 수가 개발자들의 보고 빈도에 좌우되고, 과제를 수작업으로 선별하는 데 비용이 많이 든다고 설명했습니다. 기존 합성 방식은 주로 대규모 모델의 사전 학습 지식과 휴리스틱 프롬프트에 의존하지만, 저자들은 이런 방법이 실제 소프트웨어 오류의 복잡한 작동 방식을 놓치는 경우가 많다고 지적했습니다. SWE-at-Scale은 실제 수정 사례를 버그가 생겨난 방식의 증거로 삼습니다. 수정 과정을 역으로 적용해 개발 상황에 기반한 버그 유도 사례를 만듭니다.

이 프레임워크는 학습한 버그 패턴을 익숙하지 않은 코드 맥락으로 옮기고, 여러 유형의 버그를 표본 추출해 실행 가능한 과제를 생성합니다. 실험에서 저자들은 이 방식으로 현재 기준 합성 방식보다 더 다양하고 현실적인 과제를 만들었으며, 최첨단 코딩 에이전트에는 더 어려운 과제를 제공했다고 보고했습니다. 하나의 코드 맥락에서도 서로 다른 버그 유형을 생성할 수 있었고, 파일당 200회 생성까지 버그 다양성이 안정적으로 확장됐다고 밝혔습니다. 연구진은 한정된 실제 버그 수정 사례를 재사용해 과제를 대규모로 생성하는 방법으로 이 접근법을 제시했습니다.