NextMotionQA: 시각-언어 모델(VLMs)의 인간 동작 이해 벤치마킹 및 평가

인간 동작 이해(human motion understanding)에 대한 신뢰할 수 있는 평가는 Embodied AI, 로보틱스(robotics), 그리고 애니메이션(animation)을 발전시키는 데 필수적입니다. 그러나 기존의 벤치마크(benchmarks)는 거친 의미론적 입도(semantic granularity), 차별화되지 않은 난이도, 제한된 주석 품질, 그리고 만연한 답변 모호성 문제로 인해 현재 모델들이 어디에서 실패하는지 진단하지 못하는 한계가 있습니다. 이러한 격차를 해소하기 위해, 우리는 시각-언어 모델(Vision-Language Models, VLMs)을 활용하여 반자동화되고 전문가의 검증을 거친 데이터셋인 NextMotionQA를 소개합니다. NextMotionQA는 세 가지 상호 보완적인 작업, 즉 객관식 질의응답(multiple-choice question answering), 비디오 캡셔닝(video captioning), 그리고 미세한 오류 수정(fine-grained error correction)을 특징으로 합니다. 각 작업은 세 가지 핵심 의미론적 축(semantic axes)을 따라 체계적으로 구조화되었으며, 세 가지 작업 복잡도 수준으로 계층화되었습니다. 12개의 대표적인 VLMs에 대한 광범위한 평가를 통해, 우리는 기존의 단일 작업 평가에서는 보이지 않았던 결정적인 능력 격차와 약점을 발견했습니다. 보완적인 방향으로, 최근 연구들은 텍스트-동작(text-to-motion) 평가를 위한 판사(judges)로서 VLMs를 사용하기 시작했습니다. 우리는 이들이 더 어려운 작업에서도 동일한 성능 저하를 보이는지 질문을 던졌습니다. 연구 결과, VLMs는 거친 기준(coarse criteria)에서는 전문가의 평가와 강력하게 일치하지만(Cohen's κ=0.70), 미세한 부위별 판단(part-level judgment)에서는 무너지는 것(κ=0.10)을 확인했습니다. 이는 이 패러다임이 강력한 영역에서는 유효하지만 그 한계 또한 명확함을 입증합니다.