VisSearch-Bench, 시각 검색 에이전트 평가

11월 3일 발표된 연구 논문은 장시간 웹 검색에서 멀티모달 에이전트가 시각 정보를 처리하는 능력을 평가하는 벤치마크 VisSearch-Bench를 소개했습니다. 과제는 이미지 속 세부 정보와 사물, 검색 단계를 서로 연결해야 합니다. 검색을 시작할 대상을 이미지로 식별한 뒤 텍스트 검색에만 의존하는 방식으로는 해결할 수 없습니다. 에이전트는 후보를 비교하고 시각적 단서를 따라가며, 외관과 세부 정보 또는 공간 관계를 외부 정보와 결합해야 할 수 있습니다.

VisSearch-Bench는 사람이 작성한 과제 204개를 7개 분야와 25개 하위 분야에 걸쳐 구성했습니다. 과제는 세트 단위 시각 검색, 순차적 시각 검색, 광범위·심층 혼합 검색, 경쟁적 시각 판별, 시각 구조 기반 검색의 다섯 범주로 나뉩니다. 각 과제에는 기준 답변, 추적 가능한 근거, 채점 규칙이 포함됩니다. 정확도는 에이전트가 과제 전체를 완료했는지를 측정하고, 과정 점수는 개별 결과와 하위 질문 답변의 정확성과 완전성을 평가합니다.

연구진은 멀티모달 모델 16개를 평가했습니다. 검색 도구를 사용할 수 있는 조건에서도 가장 성능이 좋은 시스템이 완수한 과제는 26.47%에 그쳤습니다. 논문은 시각적 근거와 검색 결과를 연결해 완전한 답변을 만드는 일을 과제로 꼽았습니다. Hugging Face 등재 정보는 우정현이 11월 6일 논문을 제출했고 Ant Group을 명시합니다. 논문 저자 목록에는 ZhengXian Wu와 다른 저자 12명이 올라 있습니다.

11월 3일 발표된 연구 논문은 장시간 웹 검색에서 멀티모달 에이전트가 시각 정보를 처리하는 능력을 평가하는 벤치마크 VisSearch-Bench를 소개했습니다. 과제는 이미지 속 세부 정보와 사물, 검색 단계를 서로 연결해야 합니다. 검색을 시작할 대상을 이미지로 식별한 뒤 텍스트 검색에만 의존하는 방식으로는 해결할 수 없습니다. 에이전트는 후보를 비교하고 시각적 단서를 따라가며, 외관과 세부 정보 또는 공간 관계를 외부 정보와 결합해야 할 수 있습니다.

VisSearch-Bench는 사람이 작성한 과제 204개를 7개 분야와 25개 하위 분야에 걸쳐 구성했습니다. 과제는 세트 단위 시각 검색, 순차적 시각 검색, 광범위·심층 혼합 검색, 경쟁적 시각 판별, 시각 구조 기반 검색의 다섯 범주로 나뉩니다. 각 과제에는 기준 답변, 추적 가능한 근거, 채점 규칙이 포함됩니다. 정확도는 에이전트가 과제 전체를 완료했는지를 측정하고, 과정 점수는 개별 결과와 하위 질문 답변의 정확성과 완전성을 평가합니다.

연구진은 멀티모달 모델 16개를 평가했습니다. 검색 도구를 사용할 수 있는 조건에서도 가장 성능이 좋은 시스템이 완수한 과제는 26.47%에 그쳤습니다. 논문은 시각적 근거와 검색 결과를 연결해 완전한 답변을 만드는 일을 과제로 꼽았습니다. Hugging Face 등재 정보는 우정현이 11월 6일 논문을 제출했고 Ant Group을 명시합니다. 논문 저자 목록에는 ZhengXian Wu와 다른 저자 12명이 올라 있습니다.