최근 TikTok이나 Instagram Reels에서는 AI를 사용하여 사람들을 음악 라이브 공연 출연자로 대체하는 영상이 주목받고 있습니다.
특히 'Outstanding Tiny Desk AI'는 여러 인물이 작은 라이브 무대에서 노래하거나 연주하는 영상을 AI를 통해 다른 인물로 교체하는 트렌드입니다.
이러한 영상을 누구나 사진만으로 만들 수 있도록, 현재 개인적으로 Tiny Desk AI라는 웹 애플리케이션을 개발하고 있습니다.
이번 글에서는 이 툴로 구현하고자 하는 기능과, 여러 인물의 AI 영상 생성 과정에서 직면했던 기술적인 과제들을 소개합니다.
Tiny Desk AI는 인물 사진을 업로드하여 라이브 퍼포먼스 스타일의 AI 영상을 제작하는 웹 도구입니다.
현재 다음과 같은 2가지 생성 모드를 제공하고 있습니다.
-
한 명의 인물 사진을 사용하여 영상 속 메인 퍼포머를 대체하는 모드입니다.
자신이나 친구를 라이브의 주인공으로 만들고 싶을 때 적합합니다.
-
5장의 인물 사진을 업로드하여, 라이브에 등장하는 5명의 퍼포머 각각을 대체하는 모드입니다.
역할은 다음과 같습니다:
| 입력 이미지 | 역할 |
|---|
| Picture 1 | Lead Singer (주창자) |
| ... | |
목표는 사용자가 사진만 준비하면, 여러 인물이 같은 라이브에 출연하는 듯한 영상을 생성할 수 있는 경험을 제공하는 것입니다.
출력은 약 15초 분량의 세로형 영상으로 예상하며, SNS 공유에 적합한 형식을 채택했습니다.
실제로 개발을 진행하면서, 단일 인물 생성과 다중 인물 생성에서는 고려해야 할 문제가 크게 다르다는 것을 알게 되었습니다.
5장의 사진을 AI 모델에 전달하더라도, 반드시 지정된 인물이 지정된 역할로 등장하는 것은 아닙니다.
예를 들어, 특정 인물의 얼굴이 다른 역할에도 사용되거나, 5번째 인물이 생성 결과에 반영되지 않는 경우가 발생할 수 있습니다.
이 문제를 줄이기 위해서는 입력 이미지와 출연자 간의 대응 관계를 명확하게 정의해야 합니다.
Picture 1 = Lead Singer
Picture 2 = Backing Vocalist 1
Picture 3 = Backing Vocalist 2
...
나아가, 카메라가 전환된 후에도 같은 인물의 특징이 유지되도록 '인물 일관성(person consistency)'을 지정하는 것이 중요합니다.
다만, 프롬프트로만 지정하는 것만으로는 완벽한 제어가 어렵고, 모델의 대응 능력에 따라 결과가 달라집니다.
참고 영상을 사용해 생성할 경우, 원본 영상의 움직임이나 분위기는 재현될 수 있지만, 카메라 컷이나 연출이 변경될 수 있습니다.
예를 들어, 주창자의 클로즈업이 도중에 다른 장면으로 바뀌거나, 마지막 색소폰 연주 장면이 연장되는 경우가 발생할 수 있습니다.
이에 따라, 참고 영상의 구성을 시간대별로 나누어 지정하는 방법을 시도하고 있습니다.
Scene 1:
Three backing performers.
Scene 2:
...
이렇게 장면 구성을 명시하면, 모델에게 기대하는 결과를 전달하기가 쉬워집니다.
반면, 카메라 컷을 엄격하게 고정하고 싶다면, 영상 편집이나 인물 추적(person tracking)을 결합한 워크플로우도 검토해야 합니다.
또 다른 과제는 '얼굴 교체'와 '인물 전체 교체'의 차이입니다.
단순한 얼굴 교체의 경우, 원본 영상 인물의 헤어스타일이나 의상이 그대로 남아있을 수 있습니다.
하지만 사용자가 기대하는 것은 업로드한 사진 속 인물이 그대로 무대에 등장하는 듯한 영상입니다.
따라서 단순히 얼굴 특징뿐만 아니라, 헤어스타일, 체격, 의상 등도 참고하면서 원본 영상의 동작과 자연스럽게 결합해야 합니다.
특히 여러 인물이 동시에 움직이는 장면에서는, 인물의 외모가 섞이거나 다른 출연자의 의상이 변하는 것을 방지하는 것이 과제입니다.
영상 생성 모델의 품질 외에도, 실제 서비스에는 몇 가지 중요한 점들이 있습니다.
- 입력 이미지 검증: 얼굴이 명확하게 보이는지, 이미지가 흐릿하지 않은지 확인해야 합니다.
- 역할 고정: 업로드한 5장의 이미지를 각각 지정된 역할에 대응시켜야 합니다.
- 비동기 처리(Asynchronous processing): 영상 생성에는 시간이 걸리므로, 작업 상태를 관리해야 합니다.
- 오류 처리: 생성 실패 시 사용자가 구매한 이용 횟수를 손실하지 않도록 해야 합니다.
- 결과 저장: 생성된 영상을 사용자가 나중에 재생하거나 다운로드할 수 있도록 보관해야 합니다.
또한, 인물 사진의 이용 허가, 참고 영상의 저작권, 음악의 이용 조건 등에 대해서도 적절하게 확인하는 것이 필요합니다.
Tiny Desk AI 개발을 통해 여러 인물이 등장하는 AI 영상 생성에서는 단순히 인물의 외모를 재현하는 정확도뿐만 아니라, 역할의 고정성 및 카메라 컷을 넘나드는 일관성이 중요하다고 느꼈습니다.
현재도 생성 품질과 인물 안정성을 개선하는 단계에 있지만, 이러한 과제들을 하나씩 해결함으로써 사진을 업로드하는 것만으로 즐길 수 있는 AI 영상 생성 경험을 목표로 하고 있습니다.
관심이 있으신 분들은 개발 중인 Tiny Desk AI를 확인해 보세요.
공식 웹사이트: https://tinydeskai.net/
※ Tiny Desk AI는 독립적인 AI 영상 제작 도구이며, NPR이나 공식 Tiny Desk Concerts와 제휴하지 않았습니다. 인물 이미지나 참고 자료는 사용 허가를 받은 것을 사용해 주십시오.
