로봇의 생체 신호 감지를 위한 조명 변화에 강건한 카메라 기반 심박수 추정

일상적인 환경에서 인간과 상호작용하는 서비스, 사회적 및 보조 로봇에게 생체 인식(Physiological awareness)은 매우 중요합니다. 원격 광혈류 측정(rPPG, Remote photoplethysmography)은 RGB 카메라를 통해 비접촉식 심박수(HR, Heart-Rate) 추정을 가능하게 하며, 이는 로봇 탑재 비전 시스템을 위한 유망한 감지 양식(Sensing modality)이 됩니다. 그러나 조명 변화(Illumination variation)는 강건한 배포를 가로막는 주요 장벽으로 남아 있습니다. 본 논문은 다양한 조명 조건이 포함된 새로운 데이터셋을 활용하여 원격 심박수 추정을 수행하는 엔드 투 엔드(End-to-end) 시공간 트랜스포머(Spatial-temporal transformer) 프레임워크를 제시합니다. 우리의 추정기(Estimator)는 PRNet 기반의 3D 얼굴 정렬(3D face alignment), 클립 수준의 조명 증강(Clip-level illumination augmentation), 잔차 시간 표준화 모듈(Residual Temporal Standardization Module), 그리고 제어된 하이브리드 시간-주파수 감독(Controlled hybrid temporal-frequency supervision)을 통합합니다. 학습 목표는 Soft-Shifted Pearson 파형 손실(Waveform loss)과 스펙트럼 Kullback-Leibler 발산 손실(Spectral Kullback-Leibler divergence loss)을 결합하며, 여기서 조정된 가중치($\mathbf\beta$)가 주파수 영역의 심박수 가이드 기여도를 제어합니다. 세 가지 조명 수준을 포함하는 정적 전레벨 혼합 프로토콜(Static all-level mix protocol)에 대한 실험 결과, $\mathbf\beta=5$가 테스트된 베타 설정 중 가장 강력한 결과를 제공함을 보여주었으며, 최적 실행 시 심박수 평균 절대 오차(MAE, Mean Absolute Error) 0.79 bpm 및 심박수 상관관계(HR correlation) 0.982를 달성했습니다. 우리의 데이터셋에서 평가된 PhysFormer 베이스라인과 비교했을 때, 우리의 추정기는 심박수 MAE를 93.6% 감소시키는 동시에 심박수 상관관계를 0.088에서 0.982로 증가시켜, 조명이 변하는 상황에서도 사용 가능하게 만듭니다.