WHAR Arena: 효율적인 웨어러블 인간 활동 인식 (WHAR) 분야의 최첨단 기술 벤치마킹

딥러닝 (Deep learning)은 웨어러블 인간 활동 인식 (Wearable Human Activity Recognition, WHAR) 분야의 지배적인 패러다임이 되었으나, 비교 가능성의 위기로 인해 발전 양상이 불분명해지고 있습니다. 결과들이 일관되지 않은 데이터셋, 맞춤형 데이터 처리, 그리고 다양한 평가 프로토콜을 사용하여 보고되는 경우가 많아, 최첨단 (state-of-the-art) 기술이라는 주장이 취약해지고 있습니다. 우리는 표준화된 처리, 통합된 모델 인터페이스, 그리고 공유된 피험자 간 (cross-subject) 평가 프로토콜 하에 30개의 다양한 데이터셋을 통합한 대규모 오픈 소스 벤치마크를 통해 이 문제를 해결합니다. 4,760회의 학습 실행을 통해 17개의 대표적인 아키텍처 (architectures)를 평가하며, 예측 성능과 더불어 Android 참조 기기에서의 온디바이스 지연 시간 (on-device latency), 피크 메모리 (peak memory), 모델 크기를 함께 측정합니다. 우리의 결과는 WHAR의 최첨단 기술이 단일 아키텍처에 의해 지배되기보다는 분산되어 있음을 보여줍니다. CNN-HAR이 가장 높은 평균 macro-F1을 달성하지만, 상위 성능 모델들이 밀집되어 나타나는데, 이는 현대의 아키텍처들이 예측 성능의 한계치 근처에서 수렴했음을 나타냅니다. 배포 효율성 (deployment efficiency)을 고려할 때, TinierHAR와 같은 소형 신경망 모델 (compact neural models) 및 고전적인 랜덤 포레스트 (Random Forests)가 실질적으로 유의미한 파레토 프런티어 (Pareto frontier)를 형성하는 반면, 더 큰 순환 모델 (recurrent models) 및 하이브리드 모델 (hybrid models)은 그에 상응하는 성능 향상 없이 높은 하드웨어 비용을 초래합니다. 결과적으로, 예측 성능은 정체기에 도달했지만, 배포 효율성을 최적화하고 도메인 변화 (domain shifts)에 대한 적응력을 개선하는 데 있어 향후 발전의 상당한 잠재력이 남아 있습니다. 우리는 투명한 재사용과 확장을 지원하기 위해 전체 프레임워크를 공개합니다.