LMSYS, 코딩 에이전트 훈련 성과 개선

LMSYS는 AMD Instinct MI355X에서 완전 비동기 에이전트 강화학습으로 Qwen3-30B-A3B-Instruct를 훈련해, SWE-bench Verified에서 층화 추출한 100개 작업의 pass@1 점수를 7.3%에서 27.5%로 높였습니다. 팀은 ROCm 컨테이너에서 Miles, SGLang, Megatron-LM, Harbor를 사용했으며, 주요 병목으로 오래 걸리는 궤적, CPU 샌드박스, 데이터 이동을 꼽았습니다.

훈련은 두 단계로 진행됐습니다. 먼저 성공한 Open-SWE-Traces 에이전트 실행 약 4,000건으로 지도 미세조정 1회 학습 주기를 수행하고, 이어 SWE-bench Verified에 없는 저장소 47곳에서 가져온 SWE-smith 작업 약 1,350건으로 비동기 GRPO를 적용했습니다. 작업마다 8회 시도했으며, 저장소 테스트를 통과하면 KL 페널티 없이 보상 1점을 받았습니다. 평가는 작업마다 4회 시도로 진행했습니다. 궤적 길이는 매 차례 생성 토큰 8,192개, 전체 65,536개, 최대 80회 대화로 제한했습니다.

코딩 에이전트 훈련에서 각 표본은 모델이 GitHub 이슈를 읽고 샌드박스에서 셸 명령 20~100회 이상을 실행한 뒤 테스트 결과에 따라 보상을 받는 에피소드입니다. GRPO에서는 보통 한 그룹의 시도가 가장 느린 시도가 끝날 때까지 기다리며, 같은 작업의 두 시도 길이가 2.5배 차이 날 수 있습니다. 팀 실험에서는 궤적의 84%가 대화 차례 제한에 도달했지만, 성공한 실행의 중앙값은 8회였습니다. 궤적의 90%가 끝난 뒤에도 전체 롤아웃 시간의 32%가 더 소요됐습니다. 궤적 길이 제한으로 성공 실행에 영향을 주지 않고 훈련 단계 시간을 3배 줄였습니다.

시스템은 추론과 훈련을 노드별로 분리했고, 각 노드에는 MI355X GPU 8개를 배치했습니다. 단일 GPU SGLang 엔진 8개가 추론을 처리했고, Megatron-LM은 모델을 훈련해 갱신된 가중치를 돌려보냈습니다. Miles는 모든 궤적이 끝날 때까지 기다리지 않고 롤아웃과 훈련을 겹치게 했습니다. 측정된 훈련 단계는 평균 208초였으며, 행위자 갱신이 63%, 롤아웃 대기가 29%, 로그 확률 재계산이 8%를 차지했고 가중치 동기화는 별도로 기록됐습니다.

각 궤적에 CPU 샌드박스가 필요해 팀은 환경을 각각 가상 CPU 2개와 메모리 4GB를 갖춘 E2B 클라우드 microVM으로 옮겼습니다. 노드 4대에서 궤적 384개를 동시에 처리했을 때 처리량은 시간당 약 3,480개로, 로컬 Docker 기준인 약 860개보다 약 4배 높았습니다. 부하가 걸린 로컬 Docker의 샌드박스 시작 중앙값은 11.7초였고 클라우드는 1.9초였습니다. 클라우드 실행은 궤적마다 15~40초, 즉 전체 시간의 4~11%를 더했으며, 클라우드 궤적 시간 중 LLM 호출은 77%, 테스트·도구 호출·샌드박스 설정은 22%였습니다. 안정 상태에서 궤적의 2.6%가 실패했고, 터널링된 LLM 호출 300,500건 중 0.09%에서 오류가 났습니다.

팀은 인프라 오류로 끝난 궤적 3.1%가 잘못된 코드 수정과 똑같이 보상 0점을 받을 수 있다고 확인했습니다. 확장 과정에서는 시스템별 고정 한계도 드러났습니다. 여기에는 장비당 Docker 네트워크 31개, 클러스터 전체 시간당 이미지 다운로드 100회, Miles의 에이전트 연결 100개, 에이전트 요청을 처리하는 CPU 코어 1개가 포함됐습니다. 동시성 제한 제거, 공유 샌드박스 네트워크 사용, 엔진 문맥을 64K 토큰으로 제한, NCCL 인터페이스 고정, HIP 그래프 유지로 보고된 병목을 해소했습니다. 문맥 제한이 없을 때 일부 생성은 113K~186K 토큰에 이르러 엔진의 1.5M 토큰 KV 캐시를 채웠습니다.

기반 모델의 pass@1은 7.3%였고, 지도 미세조정으로 12.8%가 됐으며 에이전트 강화학습이 14.7%포인트를 더해 27.5%에 도달했습니다. 실험은 145단계 동안 진행됐고, 3회 재시작 뒤 체크포인트에서 재개했습니다. 별도 비교에서는 추론을 GPU 8개 노드 1대에서 3대로 늘리고 클라우드 샌드박스와 동시성 제한 제거를 적용해 롤아웃 처리량을 약 4배 높였습니다. 이는 같은 GPU 8개 추론 노드에서 궤적 길이 제한으로 얻은 훈련 단계 3배 단축과는 별개의 비교입니다. 팀은 향후 실험 대상으로 DeepSeek-V4-Flash와 GLM-5.3을 꼽았습니다.

LMSYS는 AMD Instinct MI355X에서 완전 비동기 에이전트 강화학습으로 Qwen3-30B-A3B-Instruct를 훈련해, SWE-bench Verified에서 층화 추출한 100개 작업의 pass@1 점수를 7.3%에서 27.5%로 높였습니다. 팀은 ROCm 컨테이너에서 Miles, SGLang, Megatron-LM, Harbor를 사용했으며, 주요 병목으로 오래 걸리는 궤적, CPU 샌드박스, 데이터 이동을 꼽았습니다.

훈련은 두 단계로 진행됐습니다. 먼저 성공한 Open-SWE-Traces 에이전트 실행 약 4,000건으로 지도 미세조정 1회 학습 주기를 수행하고, 이어 SWE-bench Verified에 없는 저장소 47곳에서 가져온 SWE-smith 작업 약 1,350건으로 비동기 GRPO를 적용했습니다. 작업마다 8회 시도했으며, 저장소 테스트를 통과하면 KL 페널티 없이 보상 1점을 받았습니다. 평가는 작업마다 4회 시도로 진행했습니다. 궤적 길이는 매 차례 생성 토큰 8,192개, 전체 65,536개, 최대 80회 대화로 제한했습니다.

코딩 에이전트 훈련에서 각 표본은 모델이 GitHub 이슈를 읽고 샌드박스에서 셸 명령 20~100회 이상을 실행한 뒤 테스트 결과에 따라 보상을 받는 에피소드입니다. GRPO에서는 보통 한 그룹의 시도가 가장 느린 시도가 끝날 때까지 기다리며, 같은 작업의 두 시도 길이가 2.5배 차이 날 수 있습니다. 팀 실험에서는 궤적의 84%가 대화 차례 제한에 도달했지만, 성공한 실행의 중앙값은 8회였습니다. 궤적의 90%가 끝난 뒤에도 전체 롤아웃 시간의 32%가 더 소요됐습니다. 궤적 길이 제한으로 성공 실행에 영향을 주지 않고 훈련 단계 시간을 3배 줄였습니다.

시스템은 추론과 훈련을 노드별로 분리했고, 각 노드에는 MI355X GPU 8개를 배치했습니다. 단일 GPU SGLang 엔진 8개가 추론을 처리했고, Megatron-LM은 모델을 훈련해 갱신된 가중치를 돌려보냈습니다. Miles는 모든 궤적이 끝날 때까지 기다리지 않고 롤아웃과 훈련을 겹치게 했습니다. 측정된 훈련 단계는 평균 208초였으며, 행위자 갱신이 63%, 롤아웃 대기가 29%, 로그 확률 재계산이 8%를 차지했고 가중치 동기화는 별도로 기록됐습니다.

각 궤적에 CPU 샌드박스가 필요해 팀은 환경을 각각 가상 CPU 2개와 메모리 4GB를 갖춘 E2B 클라우드 microVM으로 옮겼습니다. 노드 4대에서 궤적 384개를 동시에 처리했을 때 처리량은 시간당 약 3,480개로, 로컬 Docker 기준인 약 860개보다 약 4배 높았습니다. 부하가 걸린 로컬 Docker의 샌드박스 시작 중앙값은 11.7초였고 클라우드는 1.9초였습니다. 클라우드 실행은 궤적마다 15~40초, 즉 전체 시간의 4~11%를 더했으며, 클라우드 궤적 시간 중 LLM 호출은 77%, 테스트·도구 호출·샌드박스 설정은 22%였습니다. 안정 상태에서 궤적의 2.6%가 실패했고, 터널링된 LLM 호출 300,500건 중 0.09%에서 오류가 났습니다.

팀은 인프라 오류로 끝난 궤적 3.1%가 잘못된 코드 수정과 똑같이 보상 0점을 받을 수 있다고 확인했습니다. 확장 과정에서는 시스템별 고정 한계도 드러났습니다. 여기에는 장비당 Docker 네트워크 31개, 클러스터 전체 시간당 이미지 다운로드 100회, Miles의 에이전트 연결 100개, 에이전트 요청을 처리하는 CPU 코어 1개가 포함됐습니다. 동시성 제한 제거, 공유 샌드박스 네트워크 사용, 엔진 문맥을 64K 토큰으로 제한, NCCL 인터페이스 고정, HIP 그래프 유지로 보고된 병목을 해소했습니다. 문맥 제한이 없을 때 일부 생성은 113K~186K 토큰에 이르러 엔진의 1.5M 토큰 KV 캐시를 채웠습니다.

기반 모델의 pass@1은 7.3%였고, 지도 미세조정으로 12.8%가 됐으며 에이전트 강화학습이 14.7%포인트를 더해 27.5%에 도달했습니다. 실험은 145단계 동안 진행됐고, 3회 재시작 뒤 체크포인트에서 재개했습니다. 별도 비교에서는 추론을 GPU 8개 노드 1대에서 3대로 늘리고 클라우드 샌드박스와 동시성 제한 제거를 적용해 롤아웃 처리량을 약 4배 높였습니다. 이는 같은 GPU 8개 추론 노드에서 궤적 길이 제한으로 얻은 훈련 단계 3배 단축과는 별개의 비교입니다. 팀은 향후 실험 대상으로 DeepSeek-V4-Flash와 GLM-5.3을 꼽았습니다.