Hollywood에는 추악한 비밀이 있습니다.

Hollywood에는 추악한 비밀이 있습니다.

당신이 가장 좋아하는 Marvel 영화 속 그 완벽하고 깨끗한 그린 스크린 (green screen) 장면 말인가요? 한 사람이 어두운 방에 앉아 6시간 동안 프레임 단위로 그것을 수정했습니다. AI 키어 (AI keyer)가 몸체는 잡아냈지만, 사람은 새벽 2시에 400프레임 동안 머리카락 한 올 한 올을 직접 손으로 칠했습니다.

소프트웨어 비용은 연간 5,000달러에 달합니다. 그런데도 여전히 머리카락은 키잉 (keying) 하지 못합니다.

Nuke: 연간 $4,988. 모션 블러 (motion blur) 상태의 머리카락을 키잉하지 못함.
After Effects: 연간 $264. 투명한 유리를 키잉하지 못함.
Boris FX: $1,865. 헤일로 (haloing) 현상 없이 미세한 가장자리를 키잉하지 못함.

지난 30년 동안 업계의 해결책은 동일했습니다: 비싼 소프트웨어 비용을 지불하고, 그다음 소프트웨어가 해결하지 못한 부분을 수정하기 위해 사람에게 비용을 지불하는 것이었습니다.

Corridor Crew를 운영하는 유튜버들은 이를 보고 다른 질문을 던졌습니다.

AI가 그린 스크린을 제거하려고 시도하지 않는다면 어떨까? 만약 AI가 그린 색상이 오염시키기 전, 실제로 그곳에 있었던 색상이 무엇인지 알아낸다면 어떨까?

그들은 스크랩된 영상이나 훔친 클립이 아닌, 합성된 3D 데이터 (synthetic 3D data)로 신경망 (neural network)을 학습시켰습니다. 모든 픽셀의 실제 색상을 이미 알고 있는 완벽하게 렌더링된 장면들입니다. 머리카락 한 올, 모션 블러 (motion blur), 투명한 유리. 모두 알려진 그라운드 트루스 (ground truth)로 시뮬레이션되었습니다.

그런 다음 실제 그린 스크린 영상을 입력했습니다.

성공했습니다.

그들은 이것을 CorridorKey라고 불렀습니다. 그리고 오픈 소스 (open source)로 공개했습니다.

→ 가공되지 않은 그린 스크린 영상을 입력
→ AI가 모든 픽셀에 대해 실제 전경 (foreground) 색상을 재구성
→ 머리카락이 완벽하게 유지됨. 모든 가닥이.
→ 모션 블러 (motion blur)가 온전하게 유지됨. 모든 프레임이.
→ 투명한 유리가 투명하게 유지됨.
→ 16-bit 및 32-bit EXR 출력. Nuke 사용 가능. Resolve 사용 가능.
→ 4K 네이티브 지원
→ 소비자용 GPU에서 실행. 최소 6 GB VRAM 필요.
→ MLX를 통해 Apple Silicon에서 실행
→ 그린 또는 블루 스크린 자동 감지
→ 트래킹 마커 (tracking markers) 자동 제거
→ DaVinci Resolve 플러그인 라이브 지원
→ 비전문가를 위한 독립형 GUI 제공
→ 원클릭 설치 프로그램. Python 설정 불필요.

가장 놀라운 부분은 이것입니다:

2.5개월 만에:

13,000개 이상의 GitHub stars. 787개의 forks. 활발한 Discord. 커뮤니티는 GPU를 소유하지 않고도 푸티지 (footage)를 처리할 수 있도록 클라우드 렌더 팜 (cloud render farm)을 구축했습니다. DaVinci Resolve 플러그인이 출시되었습니다. Nuke 및 After Effects 플러그인이 개발 중입니다.

VFX 프리랜서들은 이미 제작사에 CorridorKey 기반의 서비스를 제공하고 있습니다. 한 명의 인원. 하나의 GPU. Hollywood 급의 키잉 (keying). 무료 소프트웨어로 구축된 비즈니스.

Nuke: 연간 $4,988. 여전히 수동 클린업 (cleanup)이 필요함.
After Effects: 연간 $264. 여전히 수동 클린업 (cleanup)이 필요함.
로토스코핑 (Rotoscope) 아티스트: 시간당 $50에서 $150. 클린업을 위해.

CorridorKey: $0. 클린업이 필요 없음.

한 가지 솔직한 주의사항: 라이선스는 CC BY-NC-SA 4.0입니다. 개인 프로젝트, 학생, 인디 영화 및 학습 용도로는 영원히 무료입니다. 상업적 이용은 Corridor Digital의 허가가 필요합니다. 그들은 이것이 MIT 라이선스인 척하지 않았습니다.

30년 동안 Hollywood를 괴롭혔던 문제. 유튜버들에 의해 해결됨. 무료로 오픈 소스 (Open sourced) 공개됨.

13,000개 이상의 stars. 787개의 forks. CC BY-NC-SA 4.0.

당신의 푸티지 (footage). 당신의 키 (keys). 로토스코핑 (rotoscoping) 없음.