웨어러블 A-mode 초음파 프로브를 이용한 손과 손목 전체의 운동학적 추적을 향하여

A-mode 초음파 (US)는 손과 손목의 동작 추적을 위한 유망한 양식 (modality)으로 부상했습니다. 이전 연구들은 주로 정적인 제스처 분류나 몇 가지 자유도 (DoFs)의 회귀 (regression)를 다루었으며, 일반적으로 비착용형 시스템과 외부 컴퓨팅 장치에 의존해 왔고, 센서 재배치에 대한 견고성 (robustness)을 보장하기 위한 전략의 필요성을 강조했습니다. 본 연구에서는 WULPUS 플랫폼을 사용하여 웨어러블 A-mode US를 통해 손 전체와 손목의 견고한 운동학적 추적을 위한 프레임워크를 제안하며, 프로브에서 직접 23개의 자유도 (DoFs)를 회귀하는 문제를 해결합니다. 첫째, 우리는 점진적 학습 (incremental training) 전략과 결합된 소형 (11,285개 파라미터) 다중 출력 합성곱 신경망 (multi-output convolutional neural network)을 도입하였으며, 이는 세션 간 일반화 (inter-session generalization) 성능을 향상시키고 비점진적 접근 방식에 비해 평균 절대 오차 (mean absolute error)를 17% 이상 감소시킵니다. 둘째, 우리는 완전히 온디바이스 (on-device)로 수행되는 엔드투엔드 (end-to-end) 손 및 손목 운동학적 추적의 가능성을 최초로 입증합니다. 우리는 모델을 WULPUS nRF52832 마이크로컨트롤러에 배포하여 추론당 0.73 mJ, 29.1 ms의 지연 시간 (latency)을 달성하였으며, 33 mW 이내에서 전체 동작 (데이터 수집, 온라인 추론, 결과의 BLE 스트리밍)이 가능하다는 것을 보여줌으로써 최대 36시간의 연속 사용을 가능하게 하고 원시 데이터 (raw data) 전송 대비 무선 대역폭을 88% 감소시켰습니다.