손어 번역을 위한 포즈 추정 시스템 평가

요약

본 논문은 손어 번역(SLT) 시스템의 성능에 영향을 미치는 다양한 포즈 추정기들을 체계적으로 비교 평가했습니다. MediaPipe Holistic 및 OpenPose와 같은 기존 베이스라인과 MMPose WholeBody, Sapiens 등 최신 전신/고용량 모델을 포함하여 여러 포즈 추정기를 테스트했습니다. 그 결과, SDPose와 Sapiens가 가장 우수한 번역 성능(BLEU ~11.5)을 보였으며, 특히 가림 상황에서 Sapiens의 견고성이 두드러졌습니다. 또한, 손 키포인트 누락과 같은 포즈 추정기의 결함이 낮은 SLT 성능으로 직접 연결됨을 입증했습니다.

핵심 포인트

• SLT 시스템은 원본 비디오 대신 포즈 시퀀스를 사용하여 입력 차원을 줄이고 이식성을 높일 수 있다.
• Sapiens와 SDPose는 기존 MediaPipe 베이스라인보다 높은 번역 성능(BLEU ~11.5)을 달성하여 우수한 포즈 추정기임을 입증했다.
• 포즈 추정기의 견고성은 매우 중요하며, 특히 가림 상황에서 Sapiens가 가장 뛰어난 성능과 정확성을 보였다.
• 손 키포인트 누락이나 부정확한 포즈 추정기는 SLT의 최종 번역 품질 저하와 직접적인 상관관계를 가진다.