4D-HOF: 피드포워드 기반의 핸드-오브젝트 흐름 매칭을 이용한 4D 상호작용 재구성

기존의 4D 핸드-오브젝트 재구성 방법들은 종종 비용이 많이 드는 시퀀스별 최적화에 의존하는 반면, 생성 모델 기반 접근 방식은 일반적으로 무작위 노이즈로부터 상호작용을 합성하므로 불안정한 상호작용 예측으로 이어질 수 있습니다. 본 논문에서는 비전 파운데이션 모델(vision foundation model)이 생성한 거시적이지만 정보가 풍부한 추정치로부터 4D 핸드-오브젝트 상호작용을 재구성하는 피드포워드 프레임워크인 4D-HOF를 소개합니다. 구체적으로, 우리는 파운데이션 모델에서 파생된 핸드-오브젝트 상태를 상호작용 매니폴드(interaction manifold)로 전송하는 조건부 흐름 매칭 모델(conditional flow matching model)을 학습시킵니다. 이를 통해 모델은 번역(translation), 회전(rotation), 정렬(alignment)의 오류를 피드포워드 방식으로 수정할 수 있습니다. 저희 생성적 공식화의 주요 장점은 전송 과정 내에서 테스트 시간 가이던스(test-time guidance)가 자연스럽게 가능하다는 점입니다. 재구성 후 별도의 사후 최적화(post-hoc optimization)를 적용하는 대신, 물리적 상호작용 제약 조건과 관찰된 2D 증거(observed 2D evidence)를 사용하여 진화하는 생성 상태를 직접 유도함으로써, 재구성이 생성 과정 자체의 일부로 정제될 수 있도록 합니다. 다양한 데이터셋으로 생성 모델을 학습시킴으로써, 4D-HOF는 까다로운 야외 시나리오(in-the-wild scenarios)에 강력하게 일반화됩니다. 도메인 외 벤치마크(out-of-domain benchmarks)에서의 실험 결과, 4D-HOF가 최신 성능을 달성하며 더욱 안정적이고 정확한 4D 핸드-오브젝트 재구성을 보여주었습니다.