메타 AI 연구팀이 자사의 세분화 모델을 대폭 개선한 SAM 3.1을 발표했다. 고속 비디오 처리와 프롬프트 기반 개념 세분화에 중점을 둔 이번 업데이트는, 개별 객체를 하나씩 처리하던 기존 방식에서 벗어나 '전역 추론(global reasoning)' 접근 방식을 도입한 것이 특징이다. 이를 통해 시스템을 한 번 통과하는 것만으로도 단일 화면 내 최대 16개의 서로 다른 항목을 동시에 추적할 수 있게 되었다.

'객체 멀티플렉싱'이라 명명된 이 기술적 도약은 H100 GPU와 같은 고성능 하드웨어에서 초당 처리량을 16프레임에서 32프레임으로 두 배나 끌어올렸다. 이러한 효율성 덕분에 복잡하고 밀집된 장면을 실시간으로 처리할 수 있게 되었을 뿐만 아니라, 보다 일반적인 하드웨어에서도 고성능 애플리케이션을 구동할 수 있는 환경을 마련했다. 특히 SAM 3.1은 고정된 카테고리에 국한되지 않고 '줄무늬가 있는 빨간 우산'과 같은 자연어 문구로도 객체를 정의할 수 있어 활용도가 높다.

기능적 업데이트는 실제 소비자용 서비스에도 즉시 적용된다. 인스타그램의 '에딧(Edits)' 앱은 조만간 제작자가 단 한 번의 터치로 특정 인물이나 사물에 시각 효과를 적용할 수 있는 기능을 제공할 계획이다. 또한 페이스북 마켓플레이스에서는 이 모델의 3D 버전인 'SAM 3D'를 활용한 '방에서 보기(View in Room)' 기능을 통해 사용자가 가구가 실제 거주 공간에 어떻게 어울릴지 미리 시각화해 볼 수 있도록 지원한다.

메타는 이러한 정밀도에 필요한 방대한 데이터셋을 구축하고자 인간 검토자와 Llama 모델 기반의 AI 주석 작성자를 결합한 '데이터 엔진'을 개발했다. 이 하이브리드 시스템은 데이터 레이블링 속도를 기존보다 최대 5배까지 단축했으며, 결과적으로 연구팀이 400만 개 이상의 고유한 시각적 개념을 큐레이션하는 성과를 거두었다.

메타에서 새롭게 선보인 AI 모델(SAM 3.1)은 영상 속에서 사용자가 원하는 물체만 콕 집어내는 능력이 훨씬 강력해졌습니다. 이전까지는 AI가 물체 하나하나를 순서대로 확인했다면, 이제는 영상 전체를 한눈에 파악하는 방식으로 바뀌었습니다. 덕분에 동시에 16개의 물체를 한꺼번에 추적할 수 있게 되었는데요, 마치 숙련된 요리사가 재료 하나하나를 따로 다듬던 방식에서, 재료 전체를 동시에 손질하는 베테랑 요리사로 바뀐 셈입니다.

이 기술은 처리 속도 면에서도 놀라운 발전을 이뤘습니다. 아주 성능이 좋은 그래픽카드(H100 GPU)를 사용하면 1초에 32장의 화면을 실시간으로 분석할 수 있을 정도로 빨라졌습니다. 특히 재미있는 점은 사용자가 말로 직접 설명해서 물체를 찾을 수 있다는 것입니다. 예를 들어 그냥 물체가 아니라 줄무늬가 있는 빨간 우산처럼 구체적으로 말하면 AI가 알아서 찾아줍니다. 이제는 AI가 정해진 목록 안에서만 고르는 것이 아니라, 우리가 평소 말하는 방식대로 명령을 이해하는 수준이 된 것이죠.

이 기술이 우리 생활에 들어오면 무엇이 좋아질까요? 먼저 인스타그램에서 동영상을 편집할 때 사람이나 물체를 손가락으로 툭 치기만 해도 그 부분만 효과를 넣는 것이 가능해집니다. 또한 페이스북 마켓플레이스에서는 내가 사려는 가구가 우리 집 거실에 어울릴지 미리 가상으로 배치해 보는 기능도 더욱 자연스러워질 예정입니다. 메타는 사람이 직접 가르치고 AI가 학습하는 방식을 합쳐서 400만 개가 넘는 사물 정보를 빠르게 학습시켰는데, 앞으로 우리가 일상에서 AI를 더 쉽고 유용하게 쓸 수 있도록 돕는 든든한 기반이 될 것입니다.