턴와이즈, 스트리밍 영상 의사결정 학습 개선

연구진은 11월 4일 발표하고 11월 5일 허깅페이스에 제출한 논문에서 스트리밍 영상 이해를 위한 턴 단위 강화학습 프레임워크 턴와이즈를 제안했습니다. 이 방법은 모델이 응답할지 관찰을 계속할지 반복해서 결정해야 하는 상황을 다룹니다. 논문에 따르면 그룹 상대 정책 최적화(GRPO)는 이 환경에 사용돼 왔지만, 기존 접근법은 보상 설계에 집중하면서 여러 턴으로 이뤄진 전체 궤적에 하나의 공통 이점을 부여했습니다. 이 방식은 앞선 성공 뒤의 중복 응답을 강화하고, 앞선 실패 뒤에 유용한 후속 응답을 억제할 수 있습니다.

턴와이즈는 각 결정에 개별적으로 크레딧을 할당해 학습 신호를 턴별 상호작용에 맞춥니다. 턴 단위 크레딧 할당은 침묵으로 완료되는 접두 구간 점수를 사용해 각 결정 뒤에 남은 보상으로 그룹 상대 이점을 계산하며, 앞서 얻은 보상과 신호를 분리합니다. 또한 턴 평균 정책 최적화에서는 각 턴 안의 토큰 손실을 평균한 뒤 턴끼리 다시 평균합니다. 이에 따라 생성 토큰 수와 관계없이 응답 결정과 대기 결정에 같은 가중치가 주어집니다.

저자들은 이 두 설계가 미래 보상을 추정하는 모델인 학습된 비평 모델이나 추가로 표본 추출한 상호작용 시퀀스인 추가 롤아웃 없이도 스트리밍 정책 학습을 개선한다고 밝혔습니다. 광범위한 실험에서 턴와이즈가 스트리밍 영상 이해를 위한 기존 강화학습 접근법보다 좋은 성능을 냈다고 보고했습니다. 논문에는 저자 22명이 이름을 올렸으며, 허깅페이스에서 오늘의 논문 2위로 표시됐고 해당 페이지에는 추천 89개가 나타났습니다.

연구진은 11월 4일 발표하고 11월 5일 허깅페이스에 제출한 논문에서 스트리밍 영상 이해를 위한 턴 단위 강화학습 프레임워크 턴와이즈를 제안했습니다. 이 방법은 모델이 응답할지 관찰을 계속할지 반복해서 결정해야 하는 상황을 다룹니다. 논문에 따르면 그룹 상대 정책 최적화(GRPO)는 이 환경에 사용돼 왔지만, 기존 접근법은 보상 설계에 집중하면서 여러 턴으로 이뤄진 전체 궤적에 하나의 공통 이점을 부여했습니다. 이 방식은 앞선 성공 뒤의 중복 응답을 강화하고, 앞선 실패 뒤에 유용한 후속 응답을 억제할 수 있습니다.

턴와이즈는 각 결정에 개별적으로 크레딧을 할당해 학습 신호를 턴별 상호작용에 맞춥니다. 턴 단위 크레딧 할당은 침묵으로 완료되는 접두 구간 점수를 사용해 각 결정 뒤에 남은 보상으로 그룹 상대 이점을 계산하며, 앞서 얻은 보상과 신호를 분리합니다. 또한 턴 평균 정책 최적화에서는 각 턴 안의 토큰 손실을 평균한 뒤 턴끼리 다시 평균합니다. 이에 따라 생성 토큰 수와 관계없이 응답 결정과 대기 결정에 같은 가중치가 주어집니다.

저자들은 이 두 설계가 미래 보상을 추정하는 모델인 학습된 비평 모델이나 추가로 표본 추출한 상호작용 시퀀스인 추가 롤아웃 없이도 스트리밍 정책 학습을 개선한다고 밝혔습니다. 광범위한 실험에서 턴와이즈가 스트리밍 영상 이해를 위한 기존 강화학습 접근법보다 좋은 성능을 냈다고 보고했습니다. 논문에는 저자 22명이 이름을 올렸으며, 허깅페이스에서 오늘의 논문 2위로 표시됐고 해당 페이지에는 추천 89개가 나타났습니다.