센서 기반 인간 활동 인식 (Human Activity Recognition, HAR) 분야는 주로 관성 측정 장치 (Inertial Measurement Units, IMU) 의 자세 (posture), 운동 (motion), 그리고 컨텍스트 데이터 (context data) 를 사용하여 일상 활동을 식별합니다. 학습 기반 방법의 발전에도 불구하고, 이질적인 센서 데이터를 융합하고 장기적 컨텍스트 상관관계를 설정하는 복잡성 때문에 시간적 관점에서의 정보 융합은 여전히 도전과제입니다.

본 논문은 HAR 에 특화된 새로운 삼중 스펙트럼 융합 프레임워크를 제안합니다. 첫째, 노이즈 감소를 위한 적응형 보충 필터링 기법을 개발하고 각 IMU 의 센서를 자세 및 운동 모달리티 노드로 조직화합니다. IMU 노드가 동적 이질 그래프 (dynamic heterogeneous graph) 를 형성하므로, 우리는 두 가지 유형의 노드 정보를 융합하기 위해 그래프 푸리에 (graph Fourier) 도메인 내에서 적응형 필터링을 적용합니다. 둘째, 컨텍스트 중복을 억제하고 특징의 길이를 단축하기 위한 적응형 웨이블릿 주파수 선택 접근법을 구현합니다. 이 접근법은 시간戳 기반 그래프 집계와 장기적 컨텍스트 상관관계 향상에 기여합니다.

우리의 프레임워크는 푸리에 (Fourier), 그래프 푸리에 (graph Fourier), 그리고 웨이블릿 도메인에서 적응형 필터링을 사용하여 효과적인 다중 센서 융합 및 컨텍스트 상관관계를 가능하게 합니다. 10 개의 벤치마크 데이터셋에 대한 광범위한 실험은 우리의 프레임워크의 우수한 성능을 입증합니다. 프로젝트 페이지: https://github.com/crocodilegogogo/TSF-TPAMI2026.