BioHuman: 비디오로부터 생체역학적 인간 표현 학습하기

표면적인 운동학 (kinematics)을 넘어 인간의 움직임을 이해하는 것은 동작 분석, 재활, 그리고 부상 위험 평가에 있어 매우 중요합니다. 하지만 이 분야의 발전은 생체역학적 주석 (biomechanical annotations)이 포함된 대규모 데이터셋의 부족과, 시각적 관찰로부터 내부의 생체역학적 상태 (internal biomechanical states)를 직접 추론할 수 없는 기존 방식들로 인해 제한되어 왔습니다. 본 논문에서는 기존의 모션 캡처 (motion capture) 데이터셋으로부터 근육 활성도 (muscle activations)를 추정하기 위한 시뮬레이션 기반 프레임워크를 소개하며, 이를 통해 비디오, 동작, 그리고 활성도가 동기화된 대규모 데이터셋인 BioHuman10M을 구축하였습니다. BioHuman10M을 기반으로, 우리는 단안 비디오 (monocular video)를 입력으로 받아 인간의 동작과 근육 활성도를 공동으로 예측함으로써 시각적 관찰과 내부 생체역학적 상태 사이를 효과적으로 연결하는 엔드 투 엔드 (end-to-end) 모델인 BioHuman을 제안합니다. 광범위한 실험을 통해 BioHuman이 운동학적 동작 (kinematic motion)과 근육 활동 (muscle activity) 모두를 정확하게 재구성할 수 있으며, 다양한 피험자와 동작에 대해 일반화될 수 있음을 입증하였습니다. 우리는 우리의 접근 방식이 비디오 기반의 생체역학적 이해를 위한 새로운 벤치마크를 설정하고, 물리적으로 근거가 있는 인간 모델링 (physically grounded human modeling)의 새로운 가능성을 열어줄 것이라고 믿습니다.