PyVision-RL, 멀티모달 AI의 상호작용 붕괴 현상 해결
- •PyVision-RL 프레임워크는 고급 강화학습을 통해 오픈 웨이트 멀티모달 모델의 학습 안정성을 획기적으로 향상한다.
- •새로운 오버샘플링-필터링-랭킹 전략을 도입하여 모델이 유용한 도구 사용을 중단하는 상호작용 붕괴 현상을 방지한다.
- •PyVision-Video는 온디맨드 컨텍스트 구축 기술을 활용해 필요한 프레임만 샘플링함으로써 비디오를 효율적으로 처리한다.
AI가 도구를 사용하고 다단계 의사결정을 내리는 에이전트로 활동하도록 학습시킬 때, 흔히 '상호작용 붕괴(Interaction collapse)'라는 까다로운 현상이 발생한다. 이는 모델이 반복적인 학습을 거치면서 보상을 더 빨리 얻기 위해 도구 사용을 줄이거나 추론 과정을 지나치게 단순화하는 지름길을 택할 때 나타난다. 즉, 모델이 더 적은 노력으로 목표를 달성하려는 성향을 학습하게 되면서 복잡한 실무 환경에서의 유용성이 상실되는 것이다.
이를 해결하기 위해 연구진은 멀티모달 모델의 안정성을 유지하도록 설계된 강화학습 프레임워크인 PyVision-RL을 선보였다. 이 프레임워크는 누적 도구 보상 시스템을 활용하여 모델이 어려운 과제에 직면했을 때 쉽게 포기하지 않고 끝까지 임무를 수행하도록 독려한다. 이러한 접근 방식 덕분에 외부 도구를 능숙하게 사용하는 디지털 어시스턴트 기능이 학습 과정에서 최적화의 제물로 사라지지 않고 핵심 역량으로 온전히 보존된다.
해당 프레임워크는 PyVision-Image와 PyVision-Video라는 두 가지 모델의 기반이 된다. 정적 이미지를 정밀하게 다루는 이미지 모델과 달리, 비디오 모델은 '온디맨드 컨텍스트 구축(On-demand context construction)'이라는 영리한 기법을 도입했다. 이는 AI가 전체 비디오 파일을 한꺼번에 분석하는 대신, 사용자의 질문과 관련이 깊은 특정 프레임만을 선별적으로 샘플링하여 처리하는 방식이다.
이와 같은 선택적 샘플링은 모델이 처리해야 할 시각적 토큰의 양을 대폭 줄여주며, 정확도를 희생하지 않으면서도 구동 속도를 높이고 비용을 절감하는 효과를 낸다. 시티안 자오(Shitian Zhao) 연구원을 비롯한 개발팀이 이를 오픈 웨이트 모델로 공개함에 따라, 이제 전 세계 개발자들은 시간의 흐름에 따른 정보를 논리적으로 추론할 수 있는 고성능 비디오 AI 에이전트를 보다 쉽게 구축할 수 있게 되었다.