【aisongcover.io】 AI 커버의 원리 및 제작 방법: 보컬 분리, 음색 변환, 믹싱 해설

AI 커버(AI cover song 또는 영어로는 "AI song cover"라고도 불립니다)란 기존 곡의 노래 소리만을 다른 목소리로 교체하여 만드는 커버곡을 말합니다. 멜로디, 가사, 반주는 원곡 그대로 유지하고, 부르는 사람의 목소리만 바뀝니다.

'AI에게 노래하게 한다'라고 불리기도 하지만, 실제로는 두 가지 유형이 있습니다.

• 목소리만 교체하는 유형: 반주가 원곡을 유지합니다. 본문에서 다룰 것은 이 유형입니다. - 곡 전체를 다시 만드는 유형: 곡조나 편곡도 새롭게 생성하기 때문에 원곡과는 다른 결과물이 나옵니다.

원곡 ─→ ① 보컬 분리 ─┬→ 보컬 ─→ ② 음색 변환 ─→ 새로운 목소리의 보컬 ─┐
└→ 반주 ───────────────────────────────────────┴→ ③ 믹싱 ─→ AI 커버

먼저, 곡을 보컬과 반주로 분리합니다. 보컬 제거 도구나 AI 보컬 리무버와 같은 처리입니다. MDX-Net, Demucs, RoFormer와 같은 모델이 사용되며, OSS(Open Source Software)에서는 audio-separator가 이들을 종합적으로 다룰 수 있습니다.

이 정확도가 최종 결과물을 상당히 좌우합니다. 화음(하모니), 코러스, 강한 리버브, 노이즈가 많은 녹음은 보컬에 반주가 남아 있거나 목소리가 거칠어지기 쉽습니다.

분리된 보컬을 다른 목소리로 변환합니다. 여기가 AI 커버의 핵심입니다.

대표적인 OSS는 RVC(Retrieval-based Voice Conversion)입니다. 변환할 목적의 목소리는 그 목소리의 녹음으로 학습한 모델 형태로 준비합니다. 공식 README에는 학습용으로 '최소 10분 분량의 노이즈가 적은 음성'이 권장되어 있습니다. 입력 특징을 학습 데이터의 특징으로 대체하는 '검색 기반(Retrieval-based)' 메커니즘으로, 원래 목소리가 섞이는 현상(목소리 누출)을 줄입니다.

사용하는 도구에 따라 라이선스가 크게 다르므로, 이용 전에 확인이 필요합니다.

참고로, 모델의 가중치(학습된 데이터) 라이선스는 코드와 별도로 확인이 필요합니다.

변환한 보컬과 ①에서 추출한 반주를 겹쳐 하나의 곡으로 되돌립니다. 샘플링 레이트나 채널 수, 길이를 맞추고 음량 균형과 클리핑에 주의해야 합니다.

• 보컬이 명확한 곡을 선택: 메인 보컬이 한 명만 들리는 곡의ほうが 분리가 더 잘됩니다. - 음역대가 가까운 목소리를 선택: 원곡과 변환할 목적의 음역대가 크게 차이나면 부자연스럽습니다. 키(Key, 음높이)를 조정할 수 있으면 편리합니다. - 음질이 좋은 파일을 사용: 압축이 강한 음원보다 고음질일수록 분리 및 변환이 안정적인 경향이 있습니다. - 먼저 한 곡으로 시도: 결과물을 확인한 후에 다른 목소리나 다른 곡을 시도하는 것이 좋습니다.

여기까지의 과정을 직접 구현하려면 환경 구축과 목소리 모델 준비가 필요합니다. 간편하게 시도하고 싶다면, 브라우저에서 사용할 수 있는 서비스가 있습니다.

• 목소리 제공처와 라이선스: 사용 가능한 목소리가 어떤 허가로 제공되었는지. 실제 가수에 닮지 않도록 전제하는 것인지. - 업로드한 곡의 처리: 보관 기간, 삭제 방법, 이용 약관에서의 취급. - 무료 이용량과 조건: 무료로 사용할 수 있는 양, 워터마크 유무, 상업적 이용 가능 여부. - 지원 형식 및 길이: 업로드할 수 있는 파일 형식과 곡의 길이. - 결과물: 먼저 한 곡으로 시도하여 보컬 잔여음이나 목소리의 자연스러움을 확인하는 것이 좋습니다.

예를 들어 aisongcover는 브라우저에서 사용할 수 있는 AI song cover 도구입니다. 공식 사이트 안내에 따르면, 다음 절차로 AI 커버를 만들 수 있습니다.

• 곡 업로드 (자신이 사용할 권리가 있는 곡)
• 노래시키고 싶은 목소리 선택
• 변환하여 듣고 마음에 들면 다운로드

원곡의 멜로디, 가사, 반주는 그대로 두고, 목소리만 교체하는 방식입니다. 설치가 필요하지 않으며, 계정에는 매일 무료 크레딧이 제공된다고 합니다. AI 보컬 리무버(보컬 제거)도 같은 서비스 내에 있습니다. 이용 조건의 자세한 내용은 공식 사이트에서 확인해야 합니다.

일반적인 정보로서 다음 사항에 주의하십시오 (법적 조언이 아닙니다).

• 사용할 곡은 직접 만든 곡, 권리자의 허가를 받은 곡 등 사용 권한이 있는 것으로 한다.
• AI 커버를 하더라도 원곡의 권리는 넘어가지 않는다. 공개나 수익화에는 권리자의 허가가 필요할 수 있다.
• 특정 가수의 목소리를 모방하여 공개하거나 수익화할 경우, 목소리에 관한 권리 측면에서 문제가 발생할 가능성이 있다.
• YouTube나 SNS에 게시하는 경우에는 각 서비스의 규정도 확인해야 한다.

AI 커버는 '보컬 분리 → 음색 변환 → 믹싱'의 3단계로, 노래 소리만 교체하는 방식입니다. 완성도는 분리의 정밀도와 목소리의 음역대 맞추는 방식에 따라 결정됩니다. 권리 문제에 있어서는 곡과 목소리 양쪽 모두 주의하면서 즐겨주세요. 브라우저에서 간편하게 시도해 보고 싶을 때는, aisongcover 같은 AI song cover 도구부터 시작하는 것도 한 가지 방법입니다.