장기 에이전트 훈련법 ‘다중 스케일 정책 최적화’ 제안

‘장기 언어 모델 에이전트를 위한 다중 스케일 정책 최적화’ 논문이 10월 26일 공개됐고, 저자들은 10월 28일 Hugging Face에 제출했습니다. 논문은 긴 상호작용을 수행하는 언어 모델 에이전트 훈련을 위해 강화학습 프레임워크인 다중 스케일 정책 최적화(MPO)를 제안합니다. 저자들은 4B와 30B-A3B 모델을 사용해 검색, 도구 사용, 자동화 과제를 실험했으며, 강력한 강화학습 기준선보다 일관된 성능 향상을 보고했습니다.

저자들에 따르면 에이전트는 토큰 단위로 행동을 생성하지만, 환경과는 완성된 어시스턴트 턴 단위로 상호작용합니다. 연구진은 상태가 얼마나 유망한지 추정하는 비평가 값이 주로 턴 사이에서 달라지는 점을 관찰했습니다. 이에 따라 정책은 턴 단위로 최적화하고, 크레딧 할당은 토큰 사이에서 더 세밀하게 하는 방식을 제안했습니다. MPO는 다중 스케일 이점 추정(MAE)과 턴 단위 중요도 샘플링을 결합해 크레딧 할당을 턴 규모의 정책 갱신에 맞춥니다. 논문 요약에는 수치 결과나 비교 기준선의 이름이 제시되지 않았습니다.

한 논평자는 턴 길이가 크게 다를 때 턴 단위 중요도 비율이 신뢰성을 유지하는지 질문하며, 40토큰 함수 호출과 6,000토큰 파일 읽기를 예로 들었습니다. 또 턴 안에서 거의 변하지 않는 비평가 값이 추론 중 턴별 이상 점수로 쓰일 수 있다고 제안하고, 정책이 바뀌어도 그 값의 보정이 유지되는지 물었습니다. 이는 논평자의 질문과 제안이며, 논문 요약은 이에 대한 답이나 제안된 활용법의 평가를 보고하지 않았습니다.

‘장기 언어 모델 에이전트를 위한 다중 스케일 정책 최적화’ 논문이 10월 26일 공개됐고, 저자들은 10월 28일 Hugging Face에 제출했습니다. 논문은 긴 상호작용을 수행하는 언어 모델 에이전트 훈련을 위해 강화학습 프레임워크인 다중 스케일 정책 최적화(MPO)를 제안합니다. 저자들은 4B와 30B-A3B 모델을 사용해 검색, 도구 사용, 자동화 과제를 실험했으며, 강력한 강화학습 기준선보다 일관된 성능 향상을 보고했습니다.

저자들에 따르면 에이전트는 토큰 단위로 행동을 생성하지만, 환경과는 완성된 어시스턴트 턴 단위로 상호작용합니다. 연구진은 상태가 얼마나 유망한지 추정하는 비평가 값이 주로 턴 사이에서 달라지는 점을 관찰했습니다. 이에 따라 정책은 턴 단위로 최적화하고, 크레딧 할당은 토큰 사이에서 더 세밀하게 하는 방식을 제안했습니다. MPO는 다중 스케일 이점 추정(MAE)과 턴 단위 중요도 샘플링을 결합해 크레딧 할당을 턴 규모의 정책 갱신에 맞춥니다. 논문 요약에는 수치 결과나 비교 기준선의 이름이 제시되지 않았습니다.

한 논평자는 턴 길이가 크게 다를 때 턴 단위 중요도 비율이 신뢰성을 유지하는지 질문하며, 40토큰 함수 호출과 6,000토큰 파일 읽기를 예로 들었습니다. 또 턴 안에서 거의 변하지 않는 비평가 값이 추론 중 턴별 이상 점수로 쓰일 수 있다고 제안하고, 정책이 바뀌어도 그 값의 보정이 유지되는지 물었습니다. 이는 논평자의 질문과 제안이며, 논문 요약은 이에 대한 답이나 제안된 활용법의 평가를 보고하지 않았습니다.