LEXIS: 이미지 기반 3D 인간-사물 상호작용 복원 모델

요약

본 논문은 RGB 이미지를 통해 3차원(3D)의 인간-사물 상호작용(Human-Object Interaction, HOI)을 복원하는 문제를 다룹니다. 기존 방식이 간헐적인 접촉 신호에 의존하여 자연스러운 연속적 근접성을 포착하지 못했던 한계를 극복하고자 했습니다. 연구진은 'InterFields'라는 개념을 도입하여 몸과 사물 표면 전체의 밀도 높은 연속적 근접도를 인코딩하고, 이를 VQ-VAE를 통해 학습한 이산 매니폴드인 'LEXIS'로 구조화했습니다. 최종적으로 LEXIS 시그니처를 활용하는 확산 모델(Diffusion) 프

핵심 포인트

• InterFields: 몸과 사물 표면 전체의 밀도 높은 연속적 근접도를 인코딩하여 기존 방식의 한계를 극복합니다.
• LEXIS (LatEnt ProXimal Interaction Signatures): VQ-VAE를 통해 학습된 상호작용 시그니처의 이산 매니폴드를 구축했습니다.
• LEXIS-Flow: LEXIS 시그니처를 활용하는 확산 프레임워크로, 물리적으로 그럴듯하고 근접도 인지적인 3D 복원을 수행합니다.
• 평가 결과: Open3DHOI 및 BEHAVE 데이터셋에서 기존 SOTA 대비 재구성, 접촉, 근접성 품질 모두에서 우수한 성능을 보였습니다.