모든 단계마다: 비디오 기반 파킨슨병 환자의 회전 시 걸음 수 측정

파킨슨병 (PD)의 주요 증상 중 하나인 회전 장애 (turning impairment)는 회전 각도, 지속 시간, 그리고 특히 회전을 완료하는 데 필요한 걸음 수와 같은 매개변수를 통해 평가되며, 이는 운동 기능 장애를 직접적으로 반영합니다. 실제 환경에서의 회전 움직임의 가변성과 파킨슨병 보행 (parkinsonian gait)의 비정형적인 끌기 패턴 (shuffling patterns)으로 인해 정확한 걸음 수 측정은 매우 어렵습니다. 기존 방식들은 주로 웨어러블 (wearable) 기반으로, 사용자가 전용 장치를 착용하고 관리해야 하므로 지속적인 일상 사용에 불편함을 줄 수 있습니다. 이를 해결하기 위해, 우리는 다양한 동작 표현 (motion representations)을 사용하여 거친 단계에서 정밀한 단계 (coarse-to-fine) 방식으로 걸음 수를 추정하는 수동형 비디오 기반 프레임워크를 제안합니다. 구체적으로, 먼저 3D 인간 메쉬 복원 (3D human mesh recovery)에서 파생된 발 움직임 신호로부터 초기 걸음 수를 추정하여 고수준의 동작 구조를 제공합니다. 미세한 동작 세부 사항을 통합하기 위해, 동작 인코더 (motion encoder)는 메쉬 (mesh)와 광학 흐름 (optical flow)으로부터 상호 보완적인 보행 역학 (gait dynamics)을 학습하여 초기 추정치를 정교화합니다. 이 과정에서, 거친 발 움직임 신호는 교차 주의 집중 (cross attention)을 통해 픽셀 수준의 동작 단서 (pixel-level motion cues)를 쿼리하여 미세한 파킨슨병 보행 역학을 포착합니다. 다양한 비디오 길이를 처리하기 위해, 우리는 각 비디오를 클립 (clips)으로 분할하고 다중 인스턴스 학습 (multiple instance learning, MIL)을 통해 클립별 동작 임베딩 (motion embeddings)을 통합하여 걸음 수 잔차 예측 (step count residual prediction)을 수행합니다. 광범위한 실험을 통해 우리의 방법이 실제 파킨슨병 회전 데이터셋에서 기존의 걸음 수 측정 방법들을 일관되게 능가함을 보여줍니다.