AI가 도구를 사용하고 다단계 의사결정을 내리는 에이전트로 활동하도록 학습시킬 때, 흔히 '상호작용 붕괴(Interaction collapse)'라는 까다로운 현상이 발생한다. 이는 모델이 반복적인 학습을 거치면서 보상을 더 빨리 얻기 위해 도구 사용을 줄이거나 추론 과정을 지나치게 단순화하는 지름길을 택할 때 나타난다. 즉, 모델이 더 적은 노력으로 목표를 달성하려는 성향을 학습하게 되면서 복잡한 실무 환경에서의 유용성이 상실되는 것이다.

이를 해결하기 위해 연구진은 멀티모달 모델의 안정성을 유지하도록 설계된 강화학습 프레임워크인 PyVision-RL을 선보였다. 이 프레임워크는 누적 도구 보상 시스템을 활용하여 모델이 어려운 과제에 직면했을 때 쉽게 포기하지 않고 끝까지 임무를 수행하도록 독려한다. 이러한 접근 방식 덕분에 외부 도구를 능숙하게 사용하는 디지털 어시스턴트 기능이 학습 과정에서 최적화의 제물로 사라지지 않고 핵심 역량으로 온전히 보존된다.

해당 프레임워크는 PyVision-Image와 PyVision-Video라는 두 가지 모델의 기반이 된다. 정적 이미지를 정밀하게 다루는 이미지 모델과 달리, 비디오 모델은 '온디맨드 컨텍스트 구축(On-demand context construction)'이라는 영리한 기법을 도입했다. 이는 AI가 전체 비디오 파일을 한꺼번에 분석하는 대신, 사용자의 질문과 관련이 깊은 특정 프레임만을 선별적으로 샘플링하여 처리하는 방식이다.

이와 같은 선택적 샘플링은 모델이 처리해야 할 시각적 토큰의 양을 대폭 줄여주며, 정확도를 희생하지 않으면서도 구동 속도를 높이고 비용을 절감하는 효과를 낸다. 시티안 자오(Shitian Zhao) 연구원을 비롯한 개발팀이 이를 오픈 웨이트 모델로 공개함에 따라, 이제 전 세계 개발자들은 시간의 흐름에 따른 정보를 논리적으로 추론할 수 있는 고성능 비디오 AI 에이전트를 보다 쉽게 구축할 수 있게 되었다.

AI가 도구를 사용하고 다단계 의사결정을 내리는 에이전트로 활동하도록 학습시킬 때, 흔히 '상호작용 붕괴(Interaction collapse)'라는 까다로운 현상이 발생한다. 이는 모델이 반복적인 학습을 거치면서 보상을 더 빨리 얻기 위해 도구 사용을 줄이거나 추론 과정을 지나치게 단순화하는 지름길을 택할 때 나타난다. 즉, 모델이 더 적은 노력으로 목표를 달성하려는 성향을 학습하게 되면서 복잡한 실무 환경에서의 유용성이 상실되는 것이다.

이를 해결하기 위해 연구진은 멀티모달 모델의 안정성을 유지하도록 설계된 강화학습 프레임워크인 PyVision-RL을 선보였다. 이 프레임워크는 누적 도구 보상 시스템을 활용하여 모델이 어려운 과제에 직면했을 때 쉽게 포기하지 않고 끝까지 임무를 수행하도록 독려한다. 이러한 접근 방식 덕분에 외부 도구를 능숙하게 사용하는 디지털 어시스턴트 기능이 학습 과정에서 최적화의 제물로 사라지지 않고 핵심 역량으로 온전히 보존된다.

해당 프레임워크는 PyVision-Image와 PyVision-Video라는 두 가지 모델의 기반이 된다. 정적 이미지를 정밀하게 다루는 이미지 모델과 달리, 비디오 모델은 '온디맨드 컨텍스트 구축(On-demand context construction)'이라는 영리한 기법을 도입했다. 이는 AI가 전체 비디오 파일을 한꺼번에 분석하는 대신, 사용자의 질문과 관련이 깊은 특정 프레임만을 선별적으로 샘플링하여 처리하는 방식이다.

이와 같은 선택적 샘플링은 모델이 처리해야 할 시각적 토큰의 양을 대폭 줄여주며, 정확도를 희생하지 않으면서도 구동 속도를 높이고 비용을 절감하는 효과를 낸다. 시티안 자오(Shitian Zhao) 연구원을 비롯한 개발팀이 이를 오픈 웨이트 모델로 공개함에 따라, 이제 전 세계 개발자들은 시간의 흐름에 따른 정보를 논리적으로 추론할 수 있는 고성능 비디오 AI 에이전트를 보다 쉽게 구축할 수 있게 되었다.