HARMES: 운동, 환경 감지 및 소음을 포함한 착용형 인간 활동 인식용 다중 모달 데이터셋
요약
HARMES는 웨어러블 인간 활동 인식(HAR)을 위해 운동 감지(IMU), 환경 센서(습도, 온도, 압력), 오디오의 세 가지 모달리티를 결합한 새로운 다중 모달 데이터셋입니다. 이 데이터셋은 20명의 참여자가 자신의 집에서 수행하는 일상생활 활동(ADLs)을 포함하며, 총 80시간 이상의 방대한 기록 데이터를 제공합니다. 연구진은 HARMES를 활용하여 교차 주체 일반화 및 각 모달리티의 기여도를 분석하는 연구를 진행했습니다.
핵심 포인트
- HARMES는 IMU(운동), 환경 센서, 오디오 세 가지 모달리티를 결합한 다중 모달 HAR 데이터셋입니다.
- 총 80시간 이상의 데이터를 포함하며, 20명의 참여자가 자신의 집에서 수행하는 15가지 일상생활 활동(ADLs)을 라벨링했습니다.
- 기존의 유사한 손목 기반 HAR 데이터셋보다 약 6배 더 큰 규모를 자랑합니다.
- 본 연구는 교차 주체 일반화 및 모달리티 기여도 분석(ablation study)을 통해 다중 모달 접근법의 중요성을 입증했습니다.
각 감지 모달리티는 고유한 강점과 한계를 가지고 있으므로, 착용형 인간 활동 인식 (Human Activity Recognition, HAR) 을 위한 다중 모달 접근법은 점점 더 중요해지고 있습니다 -- 특히 일상 생활 활동 (Activities of Daily Living, ADLs) 인식을 위해, 여기서 개별 모달리티는 종종 유사하거나 복잡한 활동에 대해 모호한 신호를 생성합니다. 이 작업은 HARMES라는 다중 모달 착용형 데이터셋을 소개하며, 이는 세 가지 손목 기록 모달리티를 결합합니다: 관성 측정 장치 (Inertial Measurement Unit, IMU) 를 통한 운동 감지, 대기 환경 센서 (습도, 온도, 압력), 및 오디오. HARMES 는 20 명의 참여자가 자신의 집에서 가정 활동을 수행하는 것으로 수집되었으며, 총 80 시간 이상의 기록 데이터로 이루어져 있습니다. 약 3 시간의 라벨링된 활동 데이터가 15 개의 ADL 클래스에 걸쳐 각 참여자마다 존재합니다. 저희의 지식 범위 내에서 HARMES 는 이 특정 센서 트리오를 결합한 첫 번째 데이터셋이며, 기존에 가장 큰 손목 관성 음향 HAR 데이터셋보다 약 6 배 더 큽니다. 광범위한 벤치마크에서 우리는 교차 주체 일반화 (cross-subject generalization) 를 평가하고, 모달리티 기여도가 활동에 의존하며 보완적인 가치를 제공할 수 있음을 보여주는 추상 연구 (ablation study) 를 수행했습니다. 특히 운동 데이터만으로 모호한 활동에는 더욱 그렇습니다. HARMES 는 Zenodo 에서 무료로 제공되며, 데이터셋 로드 및 모델 훈련을 위한 예제 코드는 GitHub 에서 제공됩니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기