YANAMI, 멀티모달 대화 모델 평가 데이터 공개

연구진이 대화 차례가 바뀌면서 달라지는 정보를 모델이 추적하고 활용하는지 평가할 멀티모달 대화 데이터셋과 평가 기준 YANAMI를 공개했습니다. 논문은 11월 3일 발표됐고 11월 4일 Hugging Face에 제출됐습니다. 저자들은 기존 통합 멀티모달 데이터셋 대부분이 한 차례 대화 과제를 시험하며, 여러 차례 대화 과제도 앞선 대화를 기억하지 않고 풀 수 있는 경우가 많다고 설명했습니다.

YANAMI-400K에는 여러 차례에 걸친 대화 40만 건과 이미지 200만 장 이상, 대화 차례 260만 건이 담겼습니다. 여러 이미지의 정보를 결합하는 상황, 이미지 편집, 세계 모델링, 시각적 추론 등 네 가지 유형을 포함합니다. YANAMI-Bench는 여러 차례 대화 400건으로 대화 상태 이해와 시각적 구현, 즉 대화 내용을 반영한 이미지 생성 능력을 평가합니다. 이 비교를 통해 모델이 달라지는 대화 지시를 이해하고 시각 결과물로 실행하는지 측정합니다.

실험에서 YANAMI-400K로 BAGEL을 미세 조정하자 이미지 편집 성능은 10.3%, 생성 성능은 2.0%, 논문에 보고된 세 번째 과제는 13.23% 향상됐으며, 일반적인 시각 이해 능력은 유지됐습니다. 초록에는 세 번째 과제가 무엇인지 적혀 있지 않습니다. Hugging Face 커뮤니티 게시물은 13.23% 향상을 평가 기준 점수 개선으로 설명했습니다. YANAMI-Bench 평가에서는 기존 통합 멀티모달 모델들이 대화 상태를 유지하고 갱신한 뒤 이를 이미지에 정확히 반영하는 데 여전히 어려움을 보였습니다.

연구진이 대화 차례가 바뀌면서 달라지는 정보를 모델이 추적하고 활용하는지 평가할 멀티모달 대화 데이터셋과 평가 기준 YANAMI를 공개했습니다. 논문은 11월 3일 발표됐고 11월 4일 Hugging Face에 제출됐습니다. 저자들은 기존 통합 멀티모달 데이터셋 대부분이 한 차례 대화 과제를 시험하며, 여러 차례 대화 과제도 앞선 대화를 기억하지 않고 풀 수 있는 경우가 많다고 설명했습니다.

YANAMI-400K에는 여러 차례에 걸친 대화 40만 건과 이미지 200만 장 이상, 대화 차례 260만 건이 담겼습니다. 여러 이미지의 정보를 결합하는 상황, 이미지 편집, 세계 모델링, 시각적 추론 등 네 가지 유형을 포함합니다. YANAMI-Bench는 여러 차례 대화 400건으로 대화 상태 이해와 시각적 구현, 즉 대화 내용을 반영한 이미지 생성 능력을 평가합니다. 이 비교를 통해 모델이 달라지는 대화 지시를 이해하고 시각 결과물로 실행하는지 측정합니다.

실험에서 YANAMI-400K로 BAGEL을 미세 조정하자 이미지 편집 성능은 10.3%, 생성 성능은 2.0%, 논문에 보고된 세 번째 과제는 13.23% 향상됐으며, 일반적인 시각 이해 능력은 유지됐습니다. 초록에는 세 번째 과제가 무엇인지 적혀 있지 않습니다. Hugging Face 커뮤니티 게시물은 13.23% 향상을 평가 기준 점수 개선으로 설명했습니다. YANAMI-Bench 평가에서는 기존 통합 멀티모달 모델들이 대화 상태를 유지하고 갱신한 뒤 이를 이미지에 정확히 반영하는 데 여전히 어려움을 보였습니다.