AI 캐릭터에게 노래를 시키려다 이런 상황을 겪은 적이 있지 않은가.

가사가 노래와 상관없이 입을 벙긋거린다.

모델을 바꿔보고, 스텝(Step) 수를 높여보고, 프롬프트(Prompt)를 수정해도 개선되지 않는다. 당연한 결과다. 원인은 생성 측이 아니라 전달하고 있는 소리에 있기 때문이다.

노래 립싱크(Lip-sync)의 성패는 생성 버튼을 누르기 전의 "소리 준비"에서 절반이 결정된다. 이 기사는 그 미미하지만 건너뛰면 반드시 실패하게 되는 공정에 대해 이야기한다.

보컬은 "2종류"로 나누어야 한다

이것이 가장 중요한 개념이다. 곡의 보컬은 용도에 따라 2종류로 분리한다.

"입을 움직이는 것은 주선율 / 귀에 들리는 것은 풀 곡" 이라는 역할 분담이 된다.

1개로 끝내려 하면 반드시 어느 한쪽이 파탄 난다

많은 사람은 1개로 끝내려 한다. 곡을 그대로 집어넣거나, 보컬을 분리한 1개를 양쪽 모두에 사용한다. 이것이 서두에 언급한 증상의 원인이다.

왜 주선율만 있어야 하는가

구동 음성에 화음, 주고받는 파트, 코러스(Chorus)가 섞여 있으면, 여러 목소리가 동시에 입을 요구하게 된다.

모델은 "지금 어떤 목소리에 맞춰야 하는지"를 판단할 수 없으므로, 결과적으로 주선율과도 맞지 않는 어중간한 움직임이 된다. 특히 일본어와 중국어가 주고받는 다성곡(多聲曲)에서는 이것이 현저하게 나타난다.

나는 여기서 오랫동안 막혔다. 생성 측을 아무리 조정해도 고쳐지지 않다가, 최종적으로 소리를 교체했더니 단번에 해결되었다. 증상은 영상에 나타나지만, 원인은 소리에 있다.

분리는 "1단계"로는 부족하다

이 부분이 실무의 핵심이다. 분리 툴을 한 번 통과하는 것만으로는 어느 용도로도 부족하다.

청취용: 목소리가 얇아지지 않는 2단계 구성

"매우 깨끗하게 분리할 수 있다"고 광고하는 노래방 계열의 모델이 있다. 테스트해 보면 확실히 반주는 깨끗하게 사라진다.

하지만 진짜 리드 보컬(Lead Vocal)의 성분까지 깎여 나가 목소리가 얇아진다.

청취용으로 이렇게 하면 치명적이다. 그래서 먼저 일반적인 보컬 분리 툴(Demucs 계열)로 반주와 나누고, 그 출력을 노래방 계열 모델에 걸어 리드와 화음을 나누는 2단계 구성으로 한다. 약간의 반주 잔여를 허용하더라도 목소리를 보존하는 쪽을 택한다.

구동용: 주선율만 추출하는 2패스(2-pass)

구동용은 반대로 깨끗함을 우선시한다.

• 먼저 깨끗한 보컬 전체를 추출한다 (MDX-NET 계열)
• 그 출력을 노래방 계열 모델에 걸어,
  리드(주선율) 측만 채택한다

리드는 백킹(Backing)보다 음량이 크기 때문에(대략 6dB 정도 높음), 이 분리는 비교적 잘 이루어진다.

같은 "보컬 분리"라도 용도에 따라 사용하는 모델과 순서가 달라진다. 이것을 일률적으로 적용하면 어느 한쪽은 반드시 파탄 난다.

자작곡의 함정

음악 생성 AI에는 "보컬만 추출"하는 기능이 달려 있는 경우가 있다. 자작곡이라면 이것으로 충분할 것이라고 생각하는 것이 자연스럽다.

기대하지 않는 편이 좋다. 자체 생성 곡에 대해 믹싱된 상태 그대로 나오는 불발 케이스가 있다. 나는 실제로 경험했다. 솔직하게 전용 분리 툴을 통과시키는 것이 더 빠르다.

상업용으로 만든다면 가중치 라이선스를 확인하라

분리 모델 중에는 학습된 가중치(Weights)가 "연구 목적 전용"이라 상업적 이용이 불분명한 것들이 있다.

MV를 판매하거나 수탁 제작을 한다면, 사용하는 분리 모델의 가중치 라이선스는 반드시 확인해 두어야 한다. 툴 본체는 무료라도 가중치는 별도의 라이선스인 경우가 있다.

길이는 "초"가 아니라 "프레임"으로 설계한다

소리 준비만큼 중요한 것이 이것이다.

동영상 모델에는 프레임 수의 제약이 있다. 대부분은 "4n+1 프레임 단위" (5, 9, 13, …, 81, …)로만 만들 수 있다. 임의의 초를 지정해도 내부에서 반올림되어 의도한 길이가 되지 않는다.

그래서 처음부터 "프레임"으로 지도를 만든다.

① 프레임 레이트(fps)를 확인한다
② 각 컷의 길이를 초 단위로 가결정한다
③ 초 × fps로 프레임 수를 구한다
...

fps는 "결정하는" 것이 아니다

①에서 놓치기 쉬운 것이 바로 이것이다. fps는 자유롭게 결정할 수 없다. 사용하는 동영상 모델의 네이티브 fps에 지배된다.

모델이 25fps로 출력한다면 설계도 그에 맞춰야 한다. 다른 fps를 원한다면 후속 단계에서 보간(Interpolation)하지만, 우선은 네이티브로 설계하지 않으면 모든 계산이 어긋나게 된다.

구체적인 예시

25fps 모델로 3.5초의 컷을 만들고 싶다고 가정하자.

3.5초 × 25fps = 87.5프레임
↓ 4n+1로 반올림 (85 = 4×21+1 이 가장 가까움)
85프레임
...

"3.5초"는 "3.4초·85프레임"으로 수렴한다.

차이는 0.1초다. 1컷이라면 오차처럼 보일 것이다. 하지만 10컷, 20컷이 쌓이면 후반부에서 가사와 영상이 서서히 어긋나기 시작한다. 이 반올림(Rounding)은 설계 단계에서 수행해야 한다. 나중에 수정하면 그 컷 이후의 모든 부분이 도미노처럼 밀려나게 된다.

타임라인을 만들고, 거기서부터 소리를 잘라낸다

곡의 어느 프레임에서 어떤 컷이 시작되는지, 어떤 가사와 감정인지를 하나의 표로 만든다.

프레임을 초로 변환하여 (시작f ÷ fps) 오디오를 자르기만 하면 되지만, 여기서 머리(Head)를 정확히 맞추지 않으면 입 모양과 가사가 어긋난다. 영상 편집 소프트웨어를 사용해도 좋고, ffmpeg 명령 하나로도 가능하다.

요약

• 입 모양이 맞지 않는 원인은 대부분 생성 측이 아니라 전달하는 소리에 있다.
• 보컬은 구동용 (주선율만) 과 청취용 (Full) 두 종류로 나눈다.
• 분리는 한 단계만으로는 부족하다. 용도에 따라 사용하는 모델과 순서가 달라진다.
• 초정밀 분리는 목소리를 왜곡(Thinning)시킨다. 청취용 작업에서 이를 수행하면 치명적이다.
• 자작곡이라도 음악 AI의 추출 기능에 의존하지 말고 전용 도구를 사용한다.
• 상업적 이용 시 분리 모델의 가중치(Weights) 라이선스를 확인한다.
• 길이는 초가 아니라 프레임 단위로 설계한다. fps는 모델의 네이티브 값에 지배된다.
• 반올림은 설계 단계에서 한다. 나중에 하면 이후의 모든 것이 밀려난다.

노래 립싱크는 "생성이 어려운 공정"이라고 생각하기 쉽지만, 실제로 어려운 것은 이 전 단계다. 이 부분이 정돈되어 있다면 생성 자체는 순조롭게 진행된다.

이 기사에서 다루지 않은 것

어떤 분리 모델을 어떤 순서로, 어떤 설정으로 사용할지에 대한 구체적인 레시피는 작성하지 않았다. 도구의 카테고리까지는 작성했지만, 모델 파일명의 조합은 실제로 수없이 직접 들어보며 결정한 것이며, 그 부분이 실무의 차이를 만드는 부분이기 때문이다.

그 구체적인 수치와 처리 윈도우(Processing Window) 설정, 실패 패턴 19가지의 전체 내용은 교재에 정리해 두었다.

→ 교재 「로컬 AI MV 스튜디오 교과서」 (PDF 62페이지·9,800엔)

공정의 전체 모습은 이쪽.

얼굴이 무너지는 조작과 그 원인은 이쪽.

Discussion