텐센트 연구진, 위챗 검색용 WeFair 공개

텐센트 연구진은 10월 30일 논문을 통해 위챗 숏폼 영상 검색에서 개인화된 검색어 재작성을 위한 인간 피드백 정렬 프레임워크 WeFair를 공개했습니다. 이 시스템은 모호한 검색어를 사용자의 의도를 반영한 간결한 검색어로 바꾸면서 엄격한 응답 지연 시간 제약을 충족하도록 설계됐습니다. 연구진은 WeFair-2B가 오프라인 종합 정확도와 의도 보존에서 강력한 기준 모델을 능가했다고 밝혔습니다. 온라인 A/B 테스트에서는 유효 영상 조회율이 상대적으로 2.593% 상승하고 검색어 재작성률이 상대적으로 2.350% 하락했습니다. 하루 1억 건 넘는 검색을 처리하는 위챗 숏폼 영상 검색에 이미 배포됐습니다.

WeFair는 개인화된 의도를 얼마나 직접 반영하는지에 따라 인간 피드백을 세 단계의 학습 과정으로 구성합니다. 시연 단계에서는 정답 예시로 모델을 학습하는 지도 미세 조정을 적용해 검색 세션의 맥락과 실제 사용자 검색어 수정 사례를 익힙니다. 맥락에서 검색어를 만드는 학습부터 검색어 수정과 의도 보존에 대한 추론, 직접 예측으로 이어집니다. 연구진은 검색 세션에서 실제 검색어와 수정 사례를 추출하고, 맥락이 이를 뒷받침하는지 선별합니다.

선호 단계에서는 직접 선호 최적화로 이후의 콘텐츠 소비 행동에서 상대적인 선호를 학습합니다. 논문은 이런 행동에 지나치게 의존하면 사용자의 당면한 요구보다 시청을 끄는 영상에 치우쳐, 행동 이력을 활용해 검색어를 바꾸더라도 의도 이탈이 생길 수 있다고 설명합니다. 검증 단계에서는 실제 사람이 수정한 검색어와 의도 보존 목표를 그룹 상대 정책 최적화에 적용해 이탈을 제약합니다. 연구진은 폭넓은 감독 신호가 전체 학습 과정에 도움이 되고, 엄격한 검증이 보조 보상보다 나은 성능을 보였다고 보고했습니다. 행동 보상을 더 풍부하게 제공해도 의도에 더 충실한 재작성으로 이어지는 것은 아니라고 덧붙였습니다.

텐센트 연구진은 10월 30일 논문을 통해 위챗 숏폼 영상 검색에서 개인화된 검색어 재작성을 위한 인간 피드백 정렬 프레임워크 WeFair를 공개했습니다. 이 시스템은 모호한 검색어를 사용자의 의도를 반영한 간결한 검색어로 바꾸면서 엄격한 응답 지연 시간 제약을 충족하도록 설계됐습니다. 연구진은 WeFair-2B가 오프라인 종합 정확도와 의도 보존에서 강력한 기준 모델을 능가했다고 밝혔습니다. 온라인 A/B 테스트에서는 유효 영상 조회율이 상대적으로 2.593% 상승하고 검색어 재작성률이 상대적으로 2.350% 하락했습니다. 하루 1억 건 넘는 검색을 처리하는 위챗 숏폼 영상 검색에 이미 배포됐습니다.

WeFair는 개인화된 의도를 얼마나 직접 반영하는지에 따라 인간 피드백을 세 단계의 학습 과정으로 구성합니다. 시연 단계에서는 정답 예시로 모델을 학습하는 지도 미세 조정을 적용해 검색 세션의 맥락과 실제 사용자 검색어 수정 사례를 익힙니다. 맥락에서 검색어를 만드는 학습부터 검색어 수정과 의도 보존에 대한 추론, 직접 예측으로 이어집니다. 연구진은 검색 세션에서 실제 검색어와 수정 사례를 추출하고, 맥락이 이를 뒷받침하는지 선별합니다.

선호 단계에서는 직접 선호 최적화로 이후의 콘텐츠 소비 행동에서 상대적인 선호를 학습합니다. 논문은 이런 행동에 지나치게 의존하면 사용자의 당면한 요구보다 시청을 끄는 영상에 치우쳐, 행동 이력을 활용해 검색어를 바꾸더라도 의도 이탈이 생길 수 있다고 설명합니다. 검증 단계에서는 실제 사람이 수정한 검색어와 의도 보존 목표를 그룹 상대 정책 최적화에 적용해 이탈을 제약합니다. 연구진은 폭넓은 감독 신호가 전체 학습 과정에 도움이 되고, 엄격한 검증이 보조 보상보다 나은 성능을 보였다고 보고했습니다. 행동 보상을 더 풍부하게 제공해도 의도에 더 충실한 재작성으로 이어지는 것은 아니라고 덧붙였습니다.