Reviso, 영상 캡션에서 핵심 증거 우선

연구진이 11월 3일 발표된 논문에서 에이전트형 영상 캡션 프레임워크 Reviso를 제안했습니다. 사소한 시각적 세부사항을 똑같이 강조하기보다 주요 사건과 맥락에 초점을 둔 캡션을 만드는 것이 목표입니다. 영상 캡션 벤치마크 4개에서 Reviso는 평가 대상인 공개 시스템보다 우수한 성과를 냈고, 생성한 캡션은 후속 영상 질의응답을 더 잘 지원했습니다.

Reviso는 먼저 영상의 일부를 낮은 프레임률로 미리 본 뒤 계층형 Context–Focus–Points(CFP) 계획을 세웁니다. 이 계획은 전체 맥락을 파악하고 중요한 측면의 우선순위를 정한 다음, 자세히 살펴볼 구체적인 대상과 도구를 지정합니다. Reviso는 선택한 영상 구간을 다시 확인하고 여러 도구를 결합해 세부 정보를 분석하며, 증거를 해석하면서 계획을 갱신합니다. 이후 전체 영상과 선택 구간에서 얻은 정보를 합쳐 캡션을 만듭니다.

연구진은 이러한 관찰 전략을 학습시키기 위해 사실 정확성을 확인하고 교사 모델의 안내로 학습 예시를 다듬는 훈련 과정을 만들었습니다. Reviso는 그룹 상대 정책 최적화(GRPO)로 학습했으며, 캡션 품질에는 핵심 사실 보상을, 중요한 관찰 대상을 고르는 데에는 계획 정렬 보상(PAR)을 적용했습니다. 비생산적 도구 호출 페널티(UTCP)는 캡션 품질에 따라 관찰 비용에 대한 페널티를 조정합니다. 논문 초록은 평가한 공개 시스템과의 비교 결과 및 영상 질의응답 지원 개선을 보고했지만, 벤치마크 점수는 제시하지 않았습니다.

연구진이 11월 3일 발표된 논문에서 에이전트형 영상 캡션 프레임워크 Reviso를 제안했습니다. 사소한 시각적 세부사항을 똑같이 강조하기보다 주요 사건과 맥락에 초점을 둔 캡션을 만드는 것이 목표입니다. 영상 캡션 벤치마크 4개에서 Reviso는 평가 대상인 공개 시스템보다 우수한 성과를 냈고, 생성한 캡션은 후속 영상 질의응답을 더 잘 지원했습니다.

Reviso는 먼저 영상의 일부를 낮은 프레임률로 미리 본 뒤 계층형 Context–Focus–Points(CFP) 계획을 세웁니다. 이 계획은 전체 맥락을 파악하고 중요한 측면의 우선순위를 정한 다음, 자세히 살펴볼 구체적인 대상과 도구를 지정합니다. Reviso는 선택한 영상 구간을 다시 확인하고 여러 도구를 결합해 세부 정보를 분석하며, 증거를 해석하면서 계획을 갱신합니다. 이후 전체 영상과 선택 구간에서 얻은 정보를 합쳐 캡션을 만듭니다.

연구진은 이러한 관찰 전략을 학습시키기 위해 사실 정확성을 확인하고 교사 모델의 안내로 학습 예시를 다듬는 훈련 과정을 만들었습니다. Reviso는 그룹 상대 정책 최적화(GRPO)로 학습했으며, 캡션 품질에는 핵심 사실 보상을, 중요한 관찰 대상을 고르는 데에는 계획 정렬 보상(PAR)을 적용했습니다. 비생산적 도구 호출 페널티(UTCP)는 캡션 품질에 따라 관찰 비용에 대한 페널티를 조정합니다. 논문 초록은 평가한 공개 시스템과의 비교 결과 및 영상 질의응답 지원 개선을 보고했지만, 벤치마크 점수는 제시하지 않았습니다.