YuE2는 홍콩 과학대학교(港科大), 뉴욕 대학교, 스탠퍼드 등 여러 기관이 공동으로 출시한 오픈소스 음악 모델입니다. 이 모델에 가사와 스타일 설명을 제공하면, 먼저 멜로디와 코드의 악보를 작성해 주고, 그 악보를 기반으로 보컬 반주가 포함된 완성된 노래 전체를 생성합니다.

중간 단계의 악보는 사용자가 직접 보고 수정할 수 있습니다. 코드를 일부 변경하거나, 속도를 바꾸거나, 음표 몇 개를 움직이는 등의 작업을 거쳐 다시 모델에 전달하면 새로운 버전이 생성됩니다. 이 과정에서 곡 전체가 어떤 흐름으로 전개될지는 모델 스스로 결정합니다.

GitHub: https://t.co/lm7zPgKD3X

커버(翻唱) 작업도 가능합니다. 기존 녹음된 음원 일부를 멜로디 악보로 변환한 뒤, 새로운 가사를 입히거나 스타일을 변경하여 같은 모델로 완전히 새로운 버전의 연주를 뽑아낼 수 있습니다.

공식 데모에서는 《The Last Train》이라는 곡이 대화(dialogue)를 통해 총 9단계에 걸쳐 14가지 버전으로 수정되었으며, 중국어 대중가요 스타일에서 영어 재즈로 변경하고 색소폰 솔로 파트까지 추가할 수 있었습니다. 각 버전의 악보와 대화 내용 모두 확인 가능합니다.

자체 평가에서는 Suno v5, v6과 우열을 가릴 만큼 치열한 경쟁을 펼쳤으며, README에서도 초반 몇 개 모델 간의 격차가 매우 작아 누가 더 낫다고 단정하기 어렵다고 인정했습니다.

함께 에이전트 스킬(Agent Skill)도 제공되어 Claude Code와 같은 도구가 이를 활용하여 노래를 만들거나 수정할 수 있습니다.

사용을 위해서는 Linux 운영체제와 최소 24GB의 VRAM을 갖춘 NVIDIA GPU가 필요하며, 출력은 48 kHz 스테레오 사운드입니다. 개인이나 음악가가 직접 사용할 경우 무료이며, 생성된 작품을 상업적으로 이용하더라도 저작권료를 지불할 필요가 없습니다.