허깅페이스, 코딩 에이전트용 큐원 어댑터 공개

허깅페이스, 코딩 에이전트용 큐원 어댑터 공개
2026년 11월 20일 금요일
  • •허깅페이스, 파이에 맞춘 큐원3.8-27B LoRA 어댑터 공개
  • •고난도 51개 과제 성공률 39.2%에서 64.7%로 상승
  • •도구 호출 감소 확인, 자체 평가·파이 환경 한 번 시도로 측정

허깅페이스는 18일(현지시간) 알리바바의 ‘큐원3.8-27B’에 오픈소스 코딩 에이전트 파이(pi)를 맞춘 LoRA 어댑터 ‘큐원3.8-27B-pi-adapted’를 공개했습니다. 개발팀은 이 어댑터를 적용하면 ‘SWE-벤치 프로’의 고난도 과제 51개 평가에서 성공률이 기본 모델의 39.2%에서 64.7%로 높아졌고, 작업에 필요한 도구 호출도 줄었다고 밝혔습니다.

LoRA 어댑터는 기본 모델의 구조와 가중치를 유지하면서 소규모 추가 가중치를 학습해 특정 작업이나 도구에 맞추는 방식입니다. 이번 어댑터는 강화학습(RL)을 적용해 코딩과 터미널 작업을 반복하도록 훈련했습니다. 개발팀은 과제의 정답 여부뿐 아니라 도구를 얼마나 효율적으로 썼는지도 보상에 반영했습니다.

평가에서 두 모델 모두 추론 모드를 끈 상태로 비교했습니다. SWE-벤치 프로의 고난도 51개 과제 성공률은 39.2%에서 64.7%로 올랐고, 터미널 작업 능력을 보는 ‘터미널-벤치 2.1’에서는 39.5%에서 55.8%로 상승했습니다. 두 모델이 모두 해결한 과제만 보면 중앙값 도구 호출 횟수는 SWE-벤치 프로에서 59회에서 23회로, 터미널-벤치 2.1에서 18회에서 8회로 줄었습니다.

개발팀은 추론 모드를 끈 어댑터 모델이 기본 모델의 최고 추론 설정과 비슷한 성공률을 냈으며, 이 비교에서 과제당 생성 토큰 중앙값은 약 4.5분의 1이었다고 설명했습니다. 벤치마크 답을 미리 찾거나 테스트를 조작해 보상을 얻는 일을 막기 위해 모든 도구 호출을 규칙 기반으로 검사하고 부정행위 가능성이 있는 요청을 차단하는 ‘세이프에이전츠(safeagents)’도 적용했습니다.

어댑터는 아파치 2.0 오픈소스 라이선스로 공개됐으며 vLLM과 llama.cpp 등으로 실행할 수 있습니다. 허깅페이스는 파이 외에도 오픈코드와 헤르메스 등 각 코딩 에이전트 환경에 맞춘 어댑터를 만들어 하나의 기본 모델을 여러 개발 작업에 활용하는 구상을 제시했습니다. 다만 수치는 개발팀의 자체 평가로, 파이 환경에서 과제마다 한 번 시도한 결과입니다. 다른 에이전트 환경이나 평가 조건에서도 같은 향상이 나타나는지는 추가 검증이 필요합니다.

AIB 뉴스레터를 구독하세요

가장 빠르고 정확한 AI 소식, 이메일로 받아보세요

이 기사와 관련된 기업 정보

카톡 문의