연구진은 10월 13일 공개한 프리프린트에서 대규모 언어 모델(LLM) 에이전트의 협업을 학습시키는 사후 학습 기법 CoSIR를 제안했습니다. CoSIR는 관련 증거를 공유하고, 부족한 정보를 요청하며, 팀원의 기여를 의사결정에 활용하는 에이전트에 보상을 줍니다. 연구진은 최종 과제의 성공 여부만으로는 팀이 정답에 이르는 데 어떤 메시지가 기여했는지 충분히 알기 어렵다고 설명했습니다.

CoSIR는 에이전트들이 평점표의 서로 다른 부분을 보고 정보를 교환해 최선의 선택지를 고르는 검증 가능한 환경을 사용합니다. 베이지안 평가기(증거가 들어올 때 확률을 갱신하는 방법)는 공유 정보가 팀의 서프라이절을 얼마나 줄이는지 점수화합니다. 논문에서 서프라이절은 각 에이전트가 가진 증거를 바탕으로 정답 선택지에 부여한 확률의 음의 로그값을 합한 것으로 정의됩니다. 사실에 맞는 답을 받았을 때 서프라이절을 줄일 가능성에 따라 정보 요청에도 점수를 주며, 받은 정보를 각자의 선택에 활용하도록 별도 보상도 제공합니다. 연구진은 자기 대국 강화학습으로 이 보상을 모델에 직접 적용했습니다.

연구진은 Qwen3-4B, Qwen3-8B, Gemma-3-4B-it을 사후 학습한 뒤, 분산된 증거 활용, 수학적 추론, 협업 의사결정을 포함한 미학습 자연어 협업 벤치마크 7개에서 전이 성능을 평가했습니다. CoSIR는 비교 대상 방법 가운데 세 모델 기반 모두에서 7개 과제의 종합 점수가 가장 높았습니다. Qwen3-8B에서는 기본 모델보다 점수가 31.85포인트 높았습니다.

행동 분석에서 Qwen3-8B가 HiddenBench에서 비공개 사실을 공개한 비율은 68.5%에서 74.3%로 상승했습니다. 세 모델을 대상으로 MAST를 이용해 분석한 결과, 팀원 입력을 활용하지 못한 비율은 26.3%에서 22.8%로, 확인 질문을 하지 못한 비율은 36.4%에서 32.0%로 낮아졌습니다. 연구진은 GSM8K, MMLU, IFEval 성능은 대체로 유지됐다고 보고했습니다.

연구진은 10월 13일 공개한 프리프린트에서 대규모 언어 모델(LLM) 에이전트의 협업을 학습시키는 사후 학습 기법 CoSIR를 제안했습니다. CoSIR는 관련 증거를 공유하고, 부족한 정보를 요청하며, 팀원의 기여를 의사결정에 활용하는 에이전트에 보상을 줍니다. 연구진은 최종 과제의 성공 여부만으로는 팀이 정답에 이르는 데 어떤 메시지가 기여했는지 충분히 알기 어렵다고 설명했습니다.

CoSIR는 에이전트들이 평점표의 서로 다른 부분을 보고 정보를 교환해 최선의 선택지를 고르는 검증 가능한 환경을 사용합니다. 베이지안 평가기(증거가 들어올 때 확률을 갱신하는 방법)는 공유 정보가 팀의 서프라이절을 얼마나 줄이는지 점수화합니다. 논문에서 서프라이절은 각 에이전트가 가진 증거를 바탕으로 정답 선택지에 부여한 확률의 음의 로그값을 합한 것으로 정의됩니다. 사실에 맞는 답을 받았을 때 서프라이절을 줄일 가능성에 따라 정보 요청에도 점수를 주며, 받은 정보를 각자의 선택에 활용하도록 별도 보상도 제공합니다. 연구진은 자기 대국 강화학습으로 이 보상을 모델에 직접 적용했습니다.

연구진은 Qwen3-4B, Qwen3-8B, Gemma-3-4B-it을 사후 학습한 뒤, 분산된 증거 활용, 수학적 추론, 협업 의사결정을 포함한 미학습 자연어 협업 벤치마크 7개에서 전이 성능을 평가했습니다. CoSIR는 비교 대상 방법 가운데 세 모델 기반 모두에서 7개 과제의 종합 점수가 가장 높았습니다. Qwen3-8B에서는 기본 모델보다 점수가 31.85포인트 높았습니다.

행동 분석에서 Qwen3-8B가 HiddenBench에서 비공개 사실을 공개한 비율은 68.5%에서 74.3%로 상승했습니다. 세 모델을 대상으로 MAST를 이용해 분석한 결과, 팀원 입력을 활용하지 못한 비율은 26.3%에서 22.8%로, 확인 질문을 하지 못한 비율은 36.4%에서 32.0%로 낮아졌습니다. 연구진은 GSM8K, MMLU, IFEval 성능은 대체로 유지됐다고 보고했습니다.