가사 비디오는 완성되었을 때 단순해 보입니다. 음악이 재생되고, 단어가 나타나며, 적절한 순간에 현재 가사가 강조됩니다.

그 이면의 워크플로우는 그리 단순하지 않습니다. 노래를 전사(Transcribing)하는 것은 시작일 뿐입니다. 유용한 결과물은 가수가 음절을 늘리거나, 구절을 반복하거나, 자동 전사(Automatic transcription)를 혼란스럽게 하는 방식으로 단어를 발음할 때도 편집 가능한 상태로 유지되는 타임라인(Timeline)입니다.

다음은 단어 동기화 가사 비디오 워크플로우를 구축할 때 가장 중요하다고 생각하는 제품 결정 사항들입니다.

제작자가 이미 내보낸 오디오 파일로 시작하기

뮤지션들은 보통 DAW에서 트랙을 완성하거나 Suno 또는 Udio와 같은 도구에서 내보냅니다. 이들에게 스템(Stems), LRC 파일 또는 별도의 타이밍 시트를 준비하도록 요구하는 것은 제품이 가치를 제공하기도 전에 작업을 가중시키는 일입니다.

마찰이 적은 워크플로우는 완성된 MP3, WAV 또는 M4A로 시작합니다. 거기서부터 시스템은 첫 번째 전사 및 타이밍 패스(Timing pass)를 생성할 수 있습니다. 제작자가 여전히 검토 단계를 주도해야 하지만, 더 이상 처음부터 전체 타임라인을 구축할 필요는 없습니다.

이는 특히 독립 아티스트들에게 중요합니다. 동일한 사람이 곡을 쓰고, 믹싱하고, 발행하고, 홍보할 수도 있습니다. 추가되는 모든 파일 형식은 출시 프로세스가 지연될 수 있는 또 다른 지점이 됩니다.

단어 단위 타이밍은 줄 단위 타이밍과 다릅니다

줄 단위(Line-level) 타임스탬프는 블록 형태로 나타나는 자막에는 충분합니다. 하지만 가라오케 스타일의 하이라이팅(Highlighting)에는 더 미세한 제어가 필요합니다.

다음과 같은 문장을 생각해 보세요:

I keep running back to you

만약 문장 전체가 한꺼번에 불이 들어온다면, 시청자가 읽을 수는 있겠지만 시각적 요소가 퍼포먼스를 따라가지 못합니다. 단어 단위(Word-level) 타임스탬프를 사용하면 각 단어가 보컬에 반응할 수 있습니다. 소리와 텍스트 사이의 이러한 긴밀한 관계가 가사 비디오를 배경 위에 놓인 자막 파일처럼 보이게 하지 않고, 의도된 결과물처럼 느껴지게 만듭니다.

트레이드오프(Tradeoff)는 타임스탬프가 많아질수록 작은 실수가 발생할 기회도 많아진다는 점입니다. 이것이 바로 타이밍과 편집이 함께 설계되어야 하는 이유입니다.

불확실성을 가시화하기

자동 전사 (Automatic transcription)가 모든 단어에 대해 동일한 확신을 가질 수는 없습니다. 보컬이 밀도 높은 악기 연주 아래에 깔리거나, 백킹 보이스 (backing voices)가 겹치거나, 가수가 흔치 않은 이름이나 만들어낸 문구를 사용할 수도 있기 때문입니다.

그러한 불확실성을 숨기는 것은 제작자에게 전사 작업이 완료되었다는 잘못된 느낌을 줍니다. 더 나은 인터페이스는 주의가 필요한 단어들을 짚어줍니다. 사용자는 모든 줄을 동일한 수준의 노력을 들여 다시 읽는 대신, 의심스러운 부분들만 검토할 수 있습니다.

이는 AI 보조 편집기 (AI-assisted editors)를 위한 일반적인 교훈입니다. 불확실성은 유용한 제품 정보입니다. 이를 보여줌으로써 인간의 검토 과정을 더 빠르고 집중력 있게 만들 수 있습니다.

렌더링(Rendering) 전에 제작자가 가사를 수정할 수 있도록 하기

가사 비디오의 오타는 비디오가 한 번 게시되고 나면 작은 문제가 아닙니다. 문장의 의미를 바꿀 수 있고, 팬들의 주의를 분산시키며, 아티스트가 결과물을 다시 내보내고 업로드하도록 강요할 수 있습니다.

따라서 전사 작업은 워크플로우의 비용이 많이 드는 단계가 시작되기 전에 편집 가능해야 합니다. 제작자는 나머지 타이밍은 그대로 유지하면서 특정 단어만 수정할 수 있어야 하며, 렌더링하기 전에 그 결과를 미리 보기 (preview) 할 수 있어야 합니다.

첫 번째 내보내기 이후의 편집도 중요합니다. 출시 자산 (release assets)은 마지막 순간에 변경되는 경우가 많습니다. 만약 동일한 곡이 이미 잠금 해제(unlocked)된 상태라면, 제작자가 이를 수정하고 다시 렌더링할 수 있게 함으로써 모든 수정 사항이 새로운 구매 결정으로 이어지는 것을 방지할 수 있습니다.

종횡비(Aspect ratios)를 별개의 프로젝트가 아닌 출력물로 취급하기

출시 시 단 하나의 비디오만 필요한 경우는 드뭅니다.

• 16:9는 표준 YouTube 업로드에 적합합니다.
• 9:16은 Shorts, TikTok, Reels에 맞습니다.
• 1:1은 피드 및 일부 홍보용 배치에 여전히 유용합니다.

이것들은 세 개의 별개 전사 작업이 아니라, 동일한 가사 프로젝트의 서로 다른 프레젠테이션(presentations)이어야 합니다. 단어와 그 타이밍은 공유되며, 레이아웃(layout)만 목적지에 맞춰 조정됩니다.

이러한 분리는 제품 설계에도 도움이 됩니다. 타임라인 (timeline)은 신뢰할 수 있는 단일 원천 (source of truth)인 반면, 타이포그래피 (typography), 구도 (composition), 세이프 에어리어 (safe areas)는 시각적 출력 레이어 (visual output layer)에 속합니다.

권리 관계를 자동화의 약속 범위 밖에 두기

비디오를 생성한다고 해서 해당 곡을 게시할 수 있는 권한이 부여되는 것은 아닙니다.

크리에이터는 여전히 트랙, 샘플 및 상업적 이용에 필요한 권리를 보유해야 합니다. 이는 음악이 AI 서비스에서 생성된 경우 특히 중요한데, 라이선스 조건이 해당 음악을 생성하는 데 사용된 서비스와 플랜에 따라 달라질 수 있기 때문입니다.

제품은 소유권이나 라이선스가 변경된다는 암시를 주지 않으면서 제작 워크플로 (production workflow)를 더 빠르게 만들어야 합니다.

내가 만들고 있는 것

나는 완성된 트랙을 입력받아 단어 단위 타이밍 (word-level timing)이 포함된 편집 가능한 가사를 생성하고, 와이드스크린, 세로형 또는 정사각형 출력을 렌더링하는 AI 가사 비디오 제작기 (AI lyric video maker)에 이러한 아이디어들을 적용하고 있습니다. 목표는 크리에이터가 수정 권한을 유지하면서도 수동 키프레임 (manual keyframing) 작업을 제거하는 것입니다.

이 도구는 최대 10분 길이의 곡을 지원하며, 스템 (stems)이나 별도의 가사 파일이 필요하지 않습니다. 렌더링에 실패하더라도 곡 잠금 해제 (song unlock) 횟수가 차감되지 않으며, 이미 잠금 해제된 곡에 대한 편집 사항은 다시 렌더링할 수 있습니다.

더 넓은 패턴

가장 강력한 AI 창작 도구들은 인간의 검토 단계 (human review step)를 제거하지 않습니다. 대신 그 단계를 프로세스 내에서 가장 가치가 높은 부분으로 이동시킵니다.

가사 비디오의 경우, 자동화는 첫 번째 전사 (transcript)와 타임라인 (timeline)을 구축할 수 있습니다. 아티스트는 수백 개의 키프레임을 직접 배치하는 것이 아니라, 가사와 표현 방식, 그리고 최종 결정에 시간을 할애해야 합니다.

만약 오디오 또는 비디오 툴링 (tooling)을 구축해 보셨다면, 타이밍 오류가 여러분의 워크플로에서 가장 큰 마찰을 일으키는 지점은 어디인가요?