공간 기반 제스처 생성을 위한 벤치마크

요약

본 논문은 공유 공간에서의 의사소통에서 핵심적인 역할을 하는 가리키는 제스처(pointing gestures)를 평가할 수 있는 새로운 벤치마크를 제시합니다. 이 벤치마크는 실제 VR 대화 데이터를 기반으로 하며, 시스템이 시간적 정렬과 공간적 근거화를 통해 정확한 지시 대상을 결정하는 과제를 다룹니다.

핵심 포인트

• 공간적으로 근거 있는 제스처 생성을 위한 새로운 벤치마크를 소개함.
• 실제 VR 대화 데이터(2,000개 클립)와 Ground-truth 3D 지시 대상이 포함됨.
• 시간 정렬, 공간 근거화, 인지된 자연스러움을 분리하여 평가할 수 있는 프로토콜을 제공함.
• 기하학적 근거화가 인간의 가리키는 동작을 능가할 수 있음을 입증함.