SWE-Trail, 코딩 에이전트 학습 데이터 수집 개선

코딩 에이전트의 학습 궤적을 수집하는 방법인 SWE-Trail은 앞선 시도 기록을 활용해 추가 탐색 지점을 정하되, 해당 기록을 에이전트의 문맥에는 넣지 않습니다. Ant Group의 리밍, 위루, 황자탄, 추이칭, 저우쥔, 장추수가 연구에 참여했으며, 연구진은 11월 1일 논문을 arXiv에 공개하고 11월 3일 Hugging Face에 제출했습니다. 코딩 에이전트는 저장소 문제를 탐색하고 코드를 수정한 뒤 검증하는 과정을 거칩니다. 이런 궤적이 사후 학습 데이터로 쓰이면서 수집 방식이 학생 모델의 학습 내용에 영향을 줍니다.

연구진은 한 문제에 대해 여러 궤적을 독립적으로 뽑으면 뒤의 시도가 점점 중복될 수 있다고 설명합니다. 앞선 시도를 조언으로 에이전트에 제공하면 탐색 방향을 잡는 데 도움이 될 수 있지만, 테스트 때는 그 조언을 쓸 수 없어 학습·테스트 조건 불일치가 생길 수 있습니다. SWE-Trail은 기록을 에이전트 문맥 밖에 둔 채 수집에 투입할 노력을 고르는 데 사용하고, 에이전트가 생성할 내용은 에이전트가 정하도록 합니다.

새로운 실행 과정에서 SWE-Trail은 이전 궤적을 바탕으로 더 탐색할 만한 상태를 찾습니다. 그 상태 저장 지점에서 코딩 에이전트는 평소 문맥만 사용해 다음 행동 후보를 제안하고, SWE-Trail은 후보를 짧게 실행한 뒤 이어갈 경로를 선택합니다. 연구진은 각 수집 방식으로 만든 궤적을 사용해 학생 모델을 학습시키고 성능을 비교했습니다.

Ling-3.0-flash-base에서 초기화한 124B 학생 모델에서 SWE-Trail은 독립 표본 추출보다 SWE-bench Multilingual 평균 해결률을 2.33%포인트, SWE-bench Pro를 1.60%포인트 높였습니다. 기록을 쓰지 않은 동일 절차도 독립 표본 추출보다 해결된 궤적을 더 많이 만들었지만, Multilingual 성능 향상은 0.11포인트에 그쳤습니다. 저자들은 성능 향상이 절차 자체보다 기록으로 수집 방향을 안내한 데서 비롯됐다고 봅니다.

코딩 에이전트의 학습 궤적을 수집하는 방법인 SWE-Trail은 앞선 시도 기록을 활용해 추가 탐색 지점을 정하되, 해당 기록을 에이전트의 문맥에는 넣지 않습니다. Ant Group의 리밍, 위루, 황자탄, 추이칭, 저우쥔, 장추수가 연구에 참여했으며, 연구진은 11월 1일 논문을 arXiv에 공개하고 11월 3일 Hugging Face에 제출했습니다. 코딩 에이전트는 저장소 문제를 탐색하고 코드를 수정한 뒤 검증하는 과정을 거칩니다. 이런 궤적이 사후 학습 데이터로 쓰이면서 수집 방식이 학생 모델의 학습 내용에 영향을 줍니다.

연구진은 한 문제에 대해 여러 궤적을 독립적으로 뽑으면 뒤의 시도가 점점 중복될 수 있다고 설명합니다. 앞선 시도를 조언으로 에이전트에 제공하면 탐색 방향을 잡는 데 도움이 될 수 있지만, 테스트 때는 그 조언을 쓸 수 없어 학습·테스트 조건 불일치가 생길 수 있습니다. SWE-Trail은 기록을 에이전트 문맥 밖에 둔 채 수집에 투입할 노력을 고르는 데 사용하고, 에이전트가 생성할 내용은 에이전트가 정하도록 합니다.

새로운 실행 과정에서 SWE-Trail은 이전 궤적을 바탕으로 더 탐색할 만한 상태를 찾습니다. 그 상태 저장 지점에서 코딩 에이전트는 평소 문맥만 사용해 다음 행동 후보를 제안하고, SWE-Trail은 후보를 짧게 실행한 뒤 이어갈 경로를 선택합니다. 연구진은 각 수집 방식으로 만든 궤적을 사용해 학생 모델을 학습시키고 성능을 비교했습니다.

Ling-3.0-flash-base에서 초기화한 124B 학생 모델에서 SWE-Trail은 독립 표본 추출보다 SWE-bench Multilingual 평균 해결률을 2.33%포인트, SWE-bench Pro를 1.60%포인트 높였습니다. 기록을 쓰지 않은 동일 절차도 독립 표본 추출보다 해결된 궤적을 더 많이 만들었지만, Multilingual 성능 향상은 0.11포인트에 그쳤습니다. 저자들은 성능 향상이 절차 자체보다 기록으로 수집 방향을 안내한 데서 비롯됐다고 봅니다.