각 감지 모달리티는 고유한 강점과 한계를 가지고 있으므로, 착용형 인간 활동 인식 (Human Activity Recognition, HAR) 을 위한 다중 모달 접근법은 점점 더 중요해지고 있습니다 -- 특히 일상 생활 활동 (Activities of Daily Living, ADLs) 인식을 위해, 여기서 개별 모달리티는 종종 유사하거나 복잡한 활동에 대해 모호한 신호를 생성합니다. 이 작업은 HARMES라는 다중 모달 착용형 데이터셋을 소개하며, 이는 세 가지 손목 기록 모달리티를 결합합니다: 관성 측정 장치 (Inertial Measurement Unit, IMU) 를 통한 운동 감지, 대기 환경 센서 (습도, 온도, 압력), 및 오디오. HARMES 는 20 명의 참여자가 자신의 집에서 가정 활동을 수행하는 것으로 수집되었으며, 총 80 시간 이상의 기록 데이터로 이루어져 있습니다. 약 3 시간의 라벨링된 활동 데이터가 15 개의 ADL 클래스에 걸쳐 각 참여자마다 존재합니다. 저희의 지식 범위 내에서 HARMES 는 이 특정 센서 트리오를 결합한 첫 번째 데이터셋이며, 기존에 가장 큰 손목 관성 음향 HAR 데이터셋보다 약 6 배 더 큽니다. 광범위한 벤치마크에서 우리는 교차 주체 일반화 (cross-subject generalization) 를 평가하고, 모달리티 기여도가 활동에 의존하며 보완적인 가치를 제공할 수 있음을 보여주는 추상 연구 (ablation study) 를 수행했습니다. 특히 운동 데이터만으로 모호한 활동에는 더욱 그렇습니다. HARMES 는 Zenodo 에서 무료로 제공되며, 데이터셋 로드 및 모델 훈련을 위한 예제 코드는 GitHub 에서 제공됩니다.