HARMES: 운동, 환경 감지 및 소음을 포함한 착용형 인간 활동 인식용 다중 모달 데이터셋

요약

HARMES는 웨어러블 인간 활동 인식(HAR)을 위해 운동 감지(IMU), 환경 센서(습도, 온도, 압력), 오디오의 세 가지 모달리티를 결합한 새로운 다중 모달 데이터셋입니다. 이 데이터셋은 20명의 참여자가 자신의 집에서 수행하는 일상생활 활동(ADLs)을 포함하며, 총 80시간 이상의 방대한 기록 데이터를 제공합니다. 연구진은 HARMES를 활용하여 교차 주체 일반화 및 각 모달리티의 기여도를 분석하는 연구를 진행했습니다.

핵심 포인트

• HARMES는 IMU(운동), 환경 센서, 오디오 세 가지 모달리티를 결합한 다중 모달 HAR 데이터셋입니다.
• 총 80시간 이상의 데이터를 포함하며, 20명의 참여자가 자신의 집에서 수행하는 15가지 일상생활 활동(ADLs)을 라벨링했습니다.
• 기존의 유사한 손목 기반 HAR 데이터셋보다 약 6배 더 큰 규모를 자랑합니다.
• 본 연구는 교차 주체 일반화 및 모달리티 기여도 분석(ablation study)을 통해 다중 모달 접근법의 중요성을 입증했습니다.