동적 파지(Grasping) 학습

믿을 만한 4D 손-물체 파지 시퀀스를 합성하는 것은 캐릭터 애니메이션, 확장 현실(extended reality), 그리고 체화된 에이전트(embodied agents)에 중요합니다. 파지는 손이 물체에 접근하고, 접촉하며, 또는 들어 올리거나 조작하는 것을 일관성 있게 필요로 합니다. 기존의 합성 방법들은 종종 최종적인 정적 파지만 모델링하거나, 상호 작용을 지정하기 위해 언어(language), 목표 파지(target grasps), 또는 물체 궤적과 같은 추가적인 조건에 의존합니다. 대신 우리는 단일 초기 손-물체 상태로부터 완전한 파지 동작을 생성하는 제약이 적은 문제(underconstrained problem)를 연구합니다. 우리의 프레임워크는 손 움직임 생성과 물체 움직임 복구를 분리합니다. 초기 손목 좌표계의 물체 포인트 클라우드와 초기 매개변수화된 손 구성을 주어, 조건부 흐름 매칭(conditional flow matching)은 시퀀스 레벨 접촉 맵(sequence-level contact map)과 각 정규화된 시퀀스 시간에서의 손 자세를 예측합니다. 이 시간 인덱싱 공식화는 완전한 움직임을 표현하면서 자기회귀적 전개(autoregressive rollout)의 오류 누적을 방지합니다. 그런 다음 우리는 부착 프레임(attachment frame)을 추론하고, 훈련이 필요 없는 접촉 유도 가중치 등록(contact-guided weighted registration)을 통해 강체 물체 움직임을 복구합니다. 우리는 분리된 DexYCB 물체와 Open-CHOIR를 통해 재구성된 미지의 물체 기하학에 대해 평가합니다. LatentHOI와 비교했을 때, 우리의 방법은 모든 환경에서 더 부드러운 손과 물체 움직임을 생성하며, 공유 초기화 조건 하에서 접촉 및 침투 지표(contact and penetration metrics)를 일치하거나 개선하고, 생성된 프레임당 약 30배 빠릅니다. 15명의 참가자가 참여한 연구에서, 우리의 동작은 (강제 선택 쌍별 비교)의 약 3분의 2에서 선호되었습니다. 하지만 새로운 기하학에 대한 정확한 접촉 폐쇄(contact closure)는 여전히 핵심적인 미해결 과제로 남아 있습니다.