여러분도 이런 장면을 본 적이 있을 겁니다. 비디오를 이미지 배경 제거기에 넣고 결과를 내보내면, 피사체의 머리카락이 골판지 오려붙인 조각처럼 변해버립니다. 빠른 손동작은 반투명한 유령처럼 번지고, 전경과 배경의 경계는 프레임마다 깜빡거립니다.

모델이 실패한 것이 아닐 가능성이 높습니다. 여러분이 실수한 것입니다—비디오를 독립적인 사진들의 쌓인 층으로 취급했기 때문입니다.

저는 지난 1년간 비디오 분할(video segmentation) 파이프라인을 구축해 왔는데, 개발자들이 저지르는 가장 큰 실수는 이미지 기반의 사고방식을 시간적 매체에 적용하는 것입니다. 실제로 내부적으로 어떤 일이 벌어지는지, 그리고 이것이 여러분이 만드는 것에 왜 중요한지 알려드리겠습니다.

프레임별 함정 (The frame-by-frame trap)

만약 각 프레임을 독립적으로 분할 모델에 돌린다면, 저는 이를 '깜빡거림(flicker)'이라고 부르는 것을 얻게 됩니다. 즉, 각 프레임이 약간씩 다른 마스크를 생성하고, 이러한 작은 불일치들이 눈에 띄는 노이즈로 쌓입니다. 47프레임에서 감지된 머리카락 한 가닥이 48프레임에서는 사라집니다. 움직이지 않는 의자 다리가 한 프레임에는 포함되었다가 다음 프레임에서는 제외됩니다.

이것은 모델의 버그가 아닙니다. 시간적 정보(temporal information)를 무시한 직접적인 결과입니다.

대부분의 프로덕션 비디오 매팅 시스템이 기반으로 하는 모델 아키텍처인 Robust Video Matting (RVM)은 바로 이 문제를 해결하기 위해 설계되었습니다. RVM은 프레임을 독립적인 이미지로 처리하는 대신, 시간적 메모리(temporal memory)를 가진 순환 신경망(recurrent neural network)을 사용합니다—이전 프레임의 컨텍스트를 앞으로 전달하여, 현재 프레임을 평가할 때 모델이 한 프레전의 전경이 어땠는지 '기억'하게 만듭니다. Nvidia GTX 1080 Ti에서 4K 해상도를 76FPS로, HD는 104FPS로 처리할 수 있다는 것은 실시간 매팅(real-time matting)이 더 이상 연구 데모가 아님을 의미합니다.

이러한 아키텍처적 차이는 개발자에게 중요합니다. 왜냐하면 API에서 기대할 수 있는 것이 달라지기 때문입니다. 프레임 독립적인 서비스는 항상 어느 정도의 시간적 떨림(temporal jitter)을 생성할 것입니다. 반면, RVM 또는 유사한 아키텍처를 사용하는 서비스는 그렇지 않아야 합니다.

알파 채널은 선택 사항이 아니다

사람들이 자주 실수하는 두 번째 부분은 '투명한(transparent)' 비디오를 내보내고 검은색 배경을 얻는 것입니다.

일반적인 H.264 MP4 파일에는 알파 채널이 포함되어 있지 않습니다. 비디오에서 배경을 제거하고 표준 MP4로 내보낼 경우, 투명한 픽셀들이 갈 곳을 찾지 못합니다. 따라서 플레이어들은 기본적으로 이들을 검은색으로 합성(composite)하여 표시합니다.

실제 투명도가 필요하다면 두 가지 실용적인 옵션이 있습니다:

WebM (VP9, yuva420p): Chrome, Firefox, OBS에서 작동하며 실제 알파 채널을 포함하고 있어 브라우저 기반 워크플로우를 위한 크로스 플랫폼 오버레이 형식입니다.

ProRes 4444 MOV: 편집자가 선택하는 옵션으로, Premiere, DaVinci Resolve, Final Cut 등 모든 프로그램이 이를 네이티브하게 처리하며 완전한 RGB+alpha를 지원합니다.

선택하는 포맷은 비디오가 어디에 사용될지에 따라 결정되어야 하며, 내보내기(export)의 편리성에 좌우되어서는 안 됩니다. 저는 팀들이 H.264 내보내기로 인해 발생한 '깨진 투명도'를 디버깅하느라 전체 스프린트(sprint)를 낭비하는 것을 지켜본 적이 있습니다.

실제로 유용하게 사용되는 경우

시간적 모델(temporal model)과 포맷 제약 조건(format constraints)을 이해하면, 사용 사례가 더 명확해집니다:

맞춤 배경의 제품 데모. 어떤 표면을 배경으로 하는 제품 촬영본을 녹화한 후, 배경을 제거하여 브랜드 배경 위에 합성할 수 있습니다. 그린 스크린도 필요 없고, 스튜디오 대여도 필요 없습니다.

학습 데이터 준비. 깨끗한 전경(foreground)이 필요한 컴퓨터 비전 모델을 구축하는 경우, 자동 매팅(automated matting) 기능을 통해 대규모로 레이블링된 데이터를 얻을 수 있습니다.

콘텐츠 재활용. 같은 말하는 사람 클립(talking-head clip)이라도 투명 배경의 오버레이용으로 사용하거나, 단색 배경의 소셜 포스트용으로, 또는 웹사이트 히어로 비디오 배경으로 사용할 수 있습니다.

자체 추론 인프라(inference infrastructure)를 구축하고 싶지 않은 팀들을 위해 bgremove는 간단한 경로를 제공합니다: 업로드-처리-다운로드입니다. 이는 엔지니어링 시간을 커스텀 파이프라인에 투입하기 전에 워크플로우를 검증하고 싶을 때 의미가 있는 도구의 종류입니다.

핵심 요약

비디오 배경 제거는 공간적인 문제가 아니라 시간적인 문제입니다. 품질의 상한선은 파이프라인이 프레임 간 일관성(frame-to-frame consistency)을 유지하는지에 의해 결정되며, 출력의 상한선은 형식이 알파 채널(alpha channel)을 포함하는지에 의해 결정됩니다.

만약 비디오 배경 제거 도구를 평가한다면 두 가지 질문을 하십시오. 시간적 일관성을 처리하는지, 그리고 투명도를 보존하는 형식으로 내보내는지 여부입니다. 그 외의 모든 것은 구현 세부 사항(implementation detail)일 뿐입니다.

프로덕션 환경에서 비디오 매팅(video matting)에 대한 경험은 어떠셨나요? 시간적 플리커(temporal flicker)와 형식 호환성 중 어느 것이 더 큰 골칫거리였는지 궁금합니다.