UniffordInteractor: 인간 및 다중 객체 상호작용을 위한 통합 어포던스 추론

요약

기존의 인간-객체 상호작용(HOI) 방법론은 복잡한 다중 객체 시나리오에서 한계를 보였습니다. 본 논문은 통합 어포던스(unified affordance)를 활용하여 현실적이고 장기적인 상호작용 모델링을 위한 UniffordInteractor 프레임워크를 제안합니다. 이 프레임워크는 UAR와 HIG로 구성되어 다중 객체 상호작용 생성 분야에서 SOTA 성능을 입증했습니다.

핵심 포인트

• 통합 어포던스 개념 도입으로 현실적인 인간 및 다중 객체 상호작용 모델링 가능.
• UAR는 3D Multimodal LLM 기반의 통합 어포던스 추론 단계를 담당함.
• HIG를 통해 계층적 자기회귀 예측 방식으로 상호작용 생성을 공식화함.
• 다중 객체 상호작용 생성 분야에서 기존 SOTA 대비 우수한 성능을 보임.