위루이빈(Ruibin Yuan)과 공동저자 35명은 음악 생성 모델 YuE2를 소개하는 기술 보고서를 9월 27일 공개하고 9월 29일 Hugging Face에 제출했습니다. YuE2는 편집할 수 있는 악보와 완성된 음원을 함께 생성합니다. 먼저 선율과 화음을 지정한 읽기 쉬운 악보를 만들고, 이를 의미 음악 토큰으로 확장한 뒤 보컬과 반주가 포함된 곡으로 구현합니다. 기호 기반 음악 모델은 선율·화음·리듬·형식을 명시하지만 보통 완성 음원까지 만들지 않고, 음원 모델은 완성곡을 만들면서도 작곡 과정은 드러내지 않습니다. YuE2는 이 과정을 하나의 자기회귀-비자기회귀 혼합 트랜스포머(MoT) 모델로 처리합니다.

같은 체크포인트를 사용한 비교에서 전문가들은 전반적인 품질과 음악성 측면에서 기호 기반 계획을 49.3% 선호했고, 계획이 없을 때의 선호도는 34.6%였습니다. YuE2는 WildSong Bench의 SongBench 전체 평균에서 6.73점을 기록해 평가된 공개 기준 모델을 모두 앞섰습니다. 후보 결과 8개 가운데 최고 결과를 고르는 방식에서는 6.96점으로 평가 시스템 중 가장 높은 평균을 기록했습니다. 전문가 청취자들은 YuE2의 최고 결과를 Suno v4.5보다 선호했으며, Suno v5와 비교했을 때는 선호가 거의 팽팽했습니다.

보고서는 의미 기반 음악 감독학습을 위한 MERT2와 기호 기반 감독학습을 위한 SheetSage2도 소개합니다. 두 모델은 악보와 연결되지 않은 녹음으로 생성 과정을 학습하는 데 도움을 줍니다. MERT2는 MARBLE 지표 15개 중 14개에서 이전 최고 성능을 넘어섰고, SheetSage2는 리드 시트 전사 비교에서 벤치마크 지표 조합 15개 중 12개를 이끌었습니다. 같은 체크포인트는 악보를 수정하면 그 변경을 반영하면서 편집하지 않은 음악 내용은 대체로 보존합니다. 커버 전용 학습 없이 제로샷 커버를 만들고, 외부 언어 모델이 사용자 피드백을 작곡 수정안으로 바꾸는 에이전트형 음악 편집도 지원합니다.

위루이빈(Ruibin Yuan)과 공동저자 35명은 음악 생성 모델 YuE2를 소개하는 기술 보고서를 9월 27일 공개하고 9월 29일 Hugging Face에 제출했습니다. YuE2는 편집할 수 있는 악보와 완성된 음원을 함께 생성합니다. 먼저 선율과 화음을 지정한 읽기 쉬운 악보를 만들고, 이를 의미 음악 토큰으로 확장한 뒤 보컬과 반주가 포함된 곡으로 구현합니다. 기호 기반 음악 모델은 선율·화음·리듬·형식을 명시하지만 보통 완성 음원까지 만들지 않고, 음원 모델은 완성곡을 만들면서도 작곡 과정은 드러내지 않습니다. YuE2는 이 과정을 하나의 자기회귀-비자기회귀 혼합 트랜스포머(MoT) 모델로 처리합니다.

같은 체크포인트를 사용한 비교에서 전문가들은 전반적인 품질과 음악성 측면에서 기호 기반 계획을 49.3% 선호했고, 계획이 없을 때의 선호도는 34.6%였습니다. YuE2는 WildSong Bench의 SongBench 전체 평균에서 6.73점을 기록해 평가된 공개 기준 모델을 모두 앞섰습니다. 후보 결과 8개 가운데 최고 결과를 고르는 방식에서는 6.96점으로 평가 시스템 중 가장 높은 평균을 기록했습니다. 전문가 청취자들은 YuE2의 최고 결과를 Suno v4.5보다 선호했으며, Suno v5와 비교했을 때는 선호가 거의 팽팽했습니다.

보고서는 의미 기반 음악 감독학습을 위한 MERT2와 기호 기반 감독학습을 위한 SheetSage2도 소개합니다. 두 모델은 악보와 연결되지 않은 녹음으로 생성 과정을 학습하는 데 도움을 줍니다. MERT2는 MARBLE 지표 15개 중 14개에서 이전 최고 성능을 넘어섰고, SheetSage2는 리드 시트 전사 비교에서 벤치마크 지표 조합 15개 중 12개를 이끌었습니다. 같은 체크포인트는 악보를 수정하면 그 변경을 반영하면서 편집하지 않은 음악 내용은 대체로 보존합니다. 커버 전용 학습 없이 제로샷 커버를 만들고, 외부 언어 모델이 사용자 피드백을 작곡 수정안으로 바꾸는 에이전트형 음악 편집도 지원합니다.