Musical Attention Transformer: 음악 특화 어텐션 모델을 이용한 음악 생성

본 연구는 메타 정보 (meta-information)를 통합함으로써 Transformer를 이용한 음악 생성의 품질을 향상시키는 것을 목표로 합니다. Transformer 기반의 접근 방식은 음악 작곡의 장기 의존성 (long-term dependencies)을 포착하는 데 효과적이지만, 생성된 음악은 종종 과도한 반복이나 음표의 중복과 같은 문제로 인해 부자연스러운 멜로디를 생성하는 경우가 많습니다. 이러한 한계를 해결하기 위해, 우리는 마디 번호 (bar numbers), 조성 (key), 박자 기호 (signatures), 템포 (tempos)와 같은 메타 정보를 어텐션 (attention) 과정에 통합하는 메커니즘인 Musical Attention을 제안합니다. Musical Attention은 음악의 구조적 특성과 관련 메타데이터를 명시적으로 활용하여, Transformer의 어텐션 메커니즘이 더욱 효과적으로 작동할 수 있게 함으로써 생성된 결과물의 품질을 개선합니다. 우리의 프레임워크에서 각 음표는 세 가지 메타데이터 요소 외에도 피치 (pitch), 마디 번호 (bar number), 온셋 (onset), 지속 시간 (duration), 벨로시티 (velocity)라는 다섯 가지 이벤트의 조합으로 표현됩니다. 이후 어텐션 메커니즘은 이 여덟 가지 특징들 사이의 상관관계를 반영하도록 수정되어, 모델이 음악 작곡의 내재적 특성을 더 잘 포착할 수 있도록 합니다. 실험 결과, Musical Attention을 통합한 모델은 음악적 일관성 (coherence), 변주 (variation) 및 전반적인 품질 측면에서 Full Attention 및 Strided Attention과 같은 기존 방식보다 뛰어난 성능을 보였습니다. 특히, 반복을 유의미하게 줄이고 다양하며 화성적으로 일관된 멜로디를 생성하는 모델의 능력을 향상시켰습니다. 따라서 Musical Attention은 AI 기반 음악 생성 분야에서 의미 있는 진보를 나타내며, 더욱 자연스럽고 표현력이 풍부한 작곡을 용이하게 합니다.