허깅페이스에 공개된 논문은 대규모 언어 모델 추천 시스템을 위한 강화학습 방법 ReMaRk를 제안했습니다. ReMaRk는 생성된 추천 목록을 가능한 모든 유효 답변과 함께 비교해 점수를 매깁니다. 저자들은 학습 단위를 답변별로 나누지 않고 원래 요청으로 삼아야 한다고 주장합니다. 예를 들어 레딧 게시물 하나에 여러 답글이 달리고, 각 답글이 서로 다른 작품 제목을 제시할 수 있습니다. ReMaRk는 생성된 목록을 답글에 나온 제목 전체와 비교하고, 요청마다 같은 비중을 둡니다.

논문에 따르면 기존 Rank-GRPO 방식은 학습 사례마다 답글 하나를 선택하므로, 어떤 답글이 선택됐는지가 이점 점수 변동의 85%를 차지했습니다. 생성된 목록의 품질보다 답글 선택이 점수 차이에 더 큰 영향을 준다는 설명입니다. ReMaRk는 앞선 성능과 같거나 이를 웃돌면서 학습 비용을 줄였습니다. 백본 7종과 데이터셋 3개에서 답글별 강화학습 2,000단계로 얻는 검증 재현율에 필요한 단계 수의 25~53%만으로 도달했고, 해당 학습 예산에서 더 나은 성능을 냈습니다.

두 방법이 더 이상 성능을 높이지 못할 때까지 학습됐을 때 ReMaRk는 Rank-GRPO보다 통계적으로 유의미하게 뒤처진 적이 없습니다. 7개 비교 중 4개에서는 GPU 사용 시간을 줄이면서 Rank-GRPO의 최고 성능에 도달했습니다. 같은 보상 방식은 질문마다 약 100명이 답하는 ProtoQA에서도 도움이 됐습니다. 저자들은 가능한 답변이 여러 개인 과제에 강화학습을 적용할 때, 사람의 유효한 답변 여러 개에 함께 보상을 주는 방식이 유용하다는 점을 이번 결과가 보여준다고 밝혔습니다.

허깅페이스에 공개된 논문은 대규모 언어 모델 추천 시스템을 위한 강화학습 방법 ReMaRk를 제안했습니다. ReMaRk는 생성된 추천 목록을 가능한 모든 유효 답변과 함께 비교해 점수를 매깁니다. 저자들은 학습 단위를 답변별로 나누지 않고 원래 요청으로 삼아야 한다고 주장합니다. 예를 들어 레딧 게시물 하나에 여러 답글이 달리고, 각 답글이 서로 다른 작품 제목을 제시할 수 있습니다. ReMaRk는 생성된 목록을 답글에 나온 제목 전체와 비교하고, 요청마다 같은 비중을 둡니다.

논문에 따르면 기존 Rank-GRPO 방식은 학습 사례마다 답글 하나를 선택하므로, 어떤 답글이 선택됐는지가 이점 점수 변동의 85%를 차지했습니다. 생성된 목록의 품질보다 답글 선택이 점수 차이에 더 큰 영향을 준다는 설명입니다. ReMaRk는 앞선 성능과 같거나 이를 웃돌면서 학습 비용을 줄였습니다. 백본 7종과 데이터셋 3개에서 답글별 강화학습 2,000단계로 얻는 검증 재현율에 필요한 단계 수의 25~53%만으로 도달했고, 해당 학습 예산에서 더 나은 성능을 냈습니다.

두 방법이 더 이상 성능을 높이지 못할 때까지 학습됐을 때 ReMaRk는 Rank-GRPO보다 통계적으로 유의미하게 뒤처진 적이 없습니다. 7개 비교 중 4개에서는 GPU 사용 시간을 줄이면서 Rank-GRPO의 최고 성능에 도달했습니다. 같은 보상 방식은 질문마다 약 100명이 답하는 ProtoQA에서도 도움이 됐습니다. 저자들은 가능한 답변이 여러 개인 과제에 강화학습을 적용할 때, 사람의 유효한 답변 여러 개에 함께 보상을 주는 방식이 유용하다는 점을 이번 결과가 보여준다고 밝혔습니다.