저는 예전에 만들었던 TikTok 영상들의 내레이션을 재사용하고 싶었습니다.
문제는 영상에 배경 음악이 있었고, 원본 음성 녹음 파일이 남아있지 않았다는 것입니다.
그래서 저는 음악을 제거하고 목소리만 남겼습니다.
Left: with background music. Right: the same scene, voice only
저는 Meta가 공개한 무료 사운드 분리 모델인 Demucs를 사용했습니다. 이 과정은 제 Mac에서 완전히 실행되었으며, 두 개의 영상에 약 16초가 걸렸습니다.
이 글에서는 제가 어떻게 했는지, Claude Code에게 어떻게 요청했는지, 그리고 Codex, Grok, Antigravity에게도 같은 작업을 요청하는 방법을 보여줍니다.
Demucs의 기능
Demucs는 오디오를 네 가지 부분으로 분리합니다:
- 보컬 (Vocals)
- 드럼 (Drums)
- 베이스 (Bass)
- 기타 악기 (Other instruments)
이 모델은 노래에서 노래하는 목소리를 추출하도록 만들어졌지만, 배경 음악이 있는 음성에도 동일하게 작동합니다.
이는 무료이며 사용자의 컴퓨터에서 실행됩니다. 오디오를 어디에든 업로드할 필요가 없습니다.
활용 방법
- 오래된 영상의 목소리를 새로운 영상에 재사용하기
- 음악이 너무 커서 무엇을 말하는지 확인하기
- 텍스트 음성 변환(text to speech) 등에 사용할 깨끗한 음성 샘플 준비하기
Claude Code에게 요청한 방법
저는 평범한 언어로만 Claude Code에게 요청했습니다 (일본어로 질문했고, 여기서는 번역되었습니다).
먼저, 영상 URL을 붙여넣고 오디오를 추출해 달라고 요청했습니다:
Extract the audio from these TikTok videos for me
다음으로, 음악에 대한 우려가 생겨서 이렇게 했습니다:
Ah, the background music will probably hurt the quality
마지막으로, 파일을 받기 위해 다음과 같이 요청했습니다:
Put them in Downloads too
이것만으로도 다음 작업들을 수행할 수 있었습니다:
- 영상 저장하기
- Demucs 설치하기
- 음악에서 목소리 분리하기
- 목소리만 있는 오디오를 제 다운로드 폴더에 작성하기
저는 Demucs가 무엇인지 검색하거나 어떻게 설치하는지 배울 필요가 없었습니다.
Codex, Grok 또는 Antigravity에게 요청하기
사용자의 컴퓨터에서 명령을 실행할 수 있는 모든 AI 에이전트가 이 작업을 할 수 있습니다. 각 에이전트를 시작하는 방법은 다음과 같습니다:
- Codex (OpenAI):
codex
- Grok Build (xAI):
grok
- Antigravity (Google):
agy
저는 이것을 Claude Code로만 시도해 보았습니다. 다른 에이전트들이 혼란스러워하지 않도록, 모든 단계를 명시한 프롬프트를 여기에 제공합니다. 이 프롬프트는 에이전트를 시작한 후에 붙여넣으세요.
Extract only the spoken voice from this video.
Video file: (paste the file path)
...
직접 수행하기
AI 에이전트 없이도 실행할 수 있습니다. macOS 터미널에서:
python3 -m venv demucs-env
source demucs-env/bin/activate
pip install demucs
...
--two-stems=vocals는 오디오를
