Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 시스템은 기존 비디오를 4D 캡처로 변환하여, 가상 카메라를 이용해 새로운 각도에서 영상을 재촬영(Retake)할 수 있게 합니다. 사용자는 노드 기반 인터페이스 내에서 카메라 이동 경로, 조리개, 초점 등 전문적인 촬영 설정을 제어하며 고품질의 최종 결과물을 얻을 수 있습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 r/StableDiffusion의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기여러분, 몇 주 전에 이것을 만들었고 방금 대규모 업데이트를 배포했습니다. 사람의 비디오를 가져가면, 시스템이 4D 캡처를 구축하고, ComfyUI 내부에서 새로운 카메라를 그 사이로 이동시키면, 새로운 각도에서 동일한 순간을 되돌려 받을 수 있습니다. 모든 것이 로컬에서 실행됩니다.
캡처 (Capture): 한 사람의 비디오를 4D 캡처로 변환합니다. 여기에는 그들의 움직임(3D), 주변 배경, 그리고 원래 카메라가 어디에 있었고 어떻게 움직였는지까지 포함됩니다. 빠른 미리보기를 위한 '빠른 모드'와 더 자세히 살펴보고 싶을 때 사용할 수 있는 전체 4D Gaussian splat이 있습니다.
가상 카메라 (Virtual Camera): 별도의 앱 없이 노드 내부에서 바로 열리는 4D 카메라 편집기입니다. 타임라인의 아무 곳에나 키프레임을 설정하고, 그 사이를 보거나 바깥으로 걸어 나가서 전체 장면을 볼 수 있습니다. Blender 스타일의 뷰 기즈모(view gizmo), J/K/L 이동 장치, 프레임 스텝핑, 여러 선택을 통해 키를 함께 이동하거나 재설정할 수 있습니다.
재촬영 (Retake): ReDirector가 새로운 경로를 따라 전체 비디오를 다시 촬영합니다.
포토리얼 패스 (Photoreal Pass): LTX 2.3이 실제 푸티지를 새로운 시야로 왜곡하여 안내하는 모든 최종 프레임을 렌더링합니다 (Cseti의 CrossView-Warp IC-LoRA 사용).
모든 키프레임의 카메라 설정: 조리개(aperture), 초점(미터법 또는 피사체에 고정), 비네팅, 그레인 등을 설정할 수 있습니다. 여러 키 사이에서 포커스 및 조리개 변화를 줄 수 있으며, 뷰포트에서 Alt+클릭하여 클릭한 곳에 초점을 맞출 수 있습니다. 나중에 다시 렌더링하지 않고도 이 값들을 변경할 수 있습니다. 렌더 결과가 재사용되므로, 초점 조정은 전체 파이프라인을 처음부터 다시 돌리는 대신 몇 분 만에 끝납니다.
렌즈를 통해 확대 (Zoom through the lens): 줌 키는 렌즈를 변경시키고, 이는 달리 줌(dolly zoom) 효과가 작동하도록 합니다.
사용자 카메라 가져오기 (Bring your own camera): .fbx, .abc 또는 .usd에서 애니메이션 카메라를 가져올 수 있습니다 (Blender 내보내기로 테스트됨). 이 카메라는 원래 카메라의 크기, 렌즈 및 초점을 포함하여 대략 실제 규모로 시작합니다. 여러 개의 카메라가 있는 파일도 작동하며, 이동 경로(moves)를 다시 내보낼 수도 있습니다.
장면별 렌즈 효과 (Lens looks per shot): 왜곡(distortion), 색수차(chromatic aberration), 블룸(bloom), 할레이션(halation), 아나모픽 보케(anamorphic bokeh) 등을 적용할 수 있습니다. 나중에 합성(comp)하고 싶다면 깊이 및 피사체 매트 패스도 제공됩니다.
최종 노드(Finish node)에서는 RIFE를 사용하여 2460fps로 처리하고, 셔터 각도에서 오는 실제 모션 블러(motion blur)를 적용하며, 최대 4K까지 업스케일링하고 원본 오디오는 유지합니다. 워크플로우 상단에 설정 패널이 있어 실행 간 변경해야 하는 요소들(품질, 프레임 속도, 업스케일링 등)을 관리할 수 있습니다. 설치가 필요 없는 브라우저 편집기를 사용해 보세요: itsmetamike.github.io/reshoot-4d/demo/. 사양에 대해 문의하시는 분들을 위해 알려드립니다: RTX 3090 (24 GB) 한 장비로 테스트했으며, 샷당 약 30분이 소요됩니다. 원본 카메라 각도에서 약 3040도 이내에서는 잘 유지되지만, 다음 버전에서 개선할 계획입니다. 다만, 빠른 회전은 여전히 몇 프레임 동안 얼굴을 흐릿하게 만들 수 있습니다. 코드(AGPL-3.0)와 워크플로우는 github.com/itsmetamike/reshoot-4d에서 확인할 수 있습니다. 여러분 중 일부에게 유용하기를 바랍니다. 이 작품은 #OpenSourceHiggsfield 대회 출품작이며, /u/itsmetamike가 제출했습니다. [링크] [댓글]