연구진이 대형 교사 모델처럼 도구 사용 결정을 내리도록 소형 언어 모델 에이전트를 훈련하는 방법인 ActionOPD를 공개했습니다. 논문은 10월 14일 발표됐으며, 후이닝 위안(Huining Yuan)이 10월 15일 허깅페이스에 제출했습니다. 저자는 후이닝 위안, 샹민 이(Xiangmin Yi), 쩌라이 쉬(Zelai Xu), 쯔쉬 왕(Zixu Wang), 신레이 첸(Xinlei Chen), 샤오핑 장(Xiao-Ping Zhang), 위 왕(Yu Wang), 차오 위(Chao Yu)입니다.

ActionOPD는 의미 있는 도구 사용 결정을 뜻하는 의미 행동을 학습 단위로 삼습니다. 학생 모델이 마주한 상태에서 학생과 블랙박스 교사 모델의 행동을 각각 뽑은 뒤, 의미가 얼마나 일치하는지에 따라 학생 모델에 보상을 줍니다. 보상 향상을 위해 선택을 조정하는 정책 최적화를 사용하며, 교사의 토큰별 확률값이나 토크나이저의 일치, 교사가 작성한 추론의 재현을 요구하지 않습니다.

연구진은 선별한 도구 사용 과제에서 교사 모델 2개를 활용해 Qwen3-4B와 Qwen3-8B를 훈련했습니다. 훈련 분포에 포함되지 않은 과제를 평가하는 분포 외 벤치마크 4개에서 모델은 평균 3.3~6.9%포인트 향상됐습니다. ActionOPD의 성능은 학생 모델의 크기와 교사 모델의 역량에 따라 확장됐고, 학생과 교사가 같은 모델 계열일 필요도 없었습니다. τ^2-bench에서는 오프라인 증류 및 토큰 단위 온폴리시 증류와 경쟁력 있는 성능을 냈습니다. 연구진은 같은 모델을 교사로 사용하고 특권 맥락을 더하는 Self-ActionOPD도 탐색했습니다.

연구진이 대형 교사 모델처럼 도구 사용 결정을 내리도록 소형 언어 모델 에이전트를 훈련하는 방법인 ActionOPD를 공개했습니다. 논문은 10월 14일 발표됐으며, 후이닝 위안(Huining Yuan)이 10월 15일 허깅페이스에 제출했습니다. 저자는 후이닝 위안, 샹민 이(Xiangmin Yi), 쩌라이 쉬(Zelai Xu), 쯔쉬 왕(Zixu Wang), 신레이 첸(Xinlei Chen), 샤오핑 장(Xiao-Ping Zhang), 위 왕(Yu Wang), 차오 위(Chao Yu)입니다.

ActionOPD는 의미 있는 도구 사용 결정을 뜻하는 의미 행동을 학습 단위로 삼습니다. 학생 모델이 마주한 상태에서 학생과 블랙박스 교사 모델의 행동을 각각 뽑은 뒤, 의미가 얼마나 일치하는지에 따라 학생 모델에 보상을 줍니다. 보상 향상을 위해 선택을 조정하는 정책 최적화를 사용하며, 교사의 토큰별 확률값이나 토크나이저의 일치, 교사가 작성한 추론의 재현을 요구하지 않습니다.

연구진은 선별한 도구 사용 과제에서 교사 모델 2개를 활용해 Qwen3-4B와 Qwen3-8B를 훈련했습니다. 훈련 분포에 포함되지 않은 과제를 평가하는 분포 외 벤치마크 4개에서 모델은 평균 3.3~6.9%포인트 향상됐습니다. ActionOPD의 성능은 학생 모델의 크기와 교사 모델의 역량에 따라 확장됐고, 학생과 교사가 같은 모델 계열일 필요도 없었습니다. τ^2-bench에서는 오프라인 증류 및 토큰 단위 온폴리시 증류와 경쟁력 있는 성능을 냈습니다. 연구진은 같은 모델을 교사로 사용하고 특권 맥락을 더하는 Self-ActionOPD도 탐색했습니다.