MambaGaze: 시선 추적 데이터로부터 인지 부하 평가를 위한 명시적 결측 데이터 모델링 기반 양방향 Mamba
요약
MambaGaze는 시선 추적 데이터의 결측치 문제를 해결하고 장기적 시간 의존성을 모델링하기 위해 제안된 양방향 Mamba 기반 프레임워크입니다. XMD 인코딩과 Mamba-2를 결합하여 기존 모델 대비 높은 정확도를 달성했으며, 엣지 디바이스에서의 실시간 추론 가능성을 입증했습니다.
핵심 포인트
- XMD 인코딩을 통한 데이터 결측 및 불확실성 명시적 모델링
- 양방향 Mamba-2를 활용한 효율적인 장기 시간 의존성 포착
- 기존 CNN, Transformer 대비 4~12% 높은 정확도 달성
- NVIDIA Jetson 기반 저전력 실시간 추론 성능 확인
시선 추적 (eye-tracking) 신호로부터 실시간 인지 부하 (cognitive load) 평가를 수행하는 것은 운전자 경계 모니터링이나 자동 비행 데크 보조와 같은 안전 필수 (safety-critical) 애플리케이션과 같은 적응형 인간 중심 AI (human-centered-AI)를 가능하게 할 잠재력이 있지만, 두 가지 과제가 남아 있습니다. 바로 눈 깜빡임 (blinks) 및 추적 실패로 인한 빈번한 데이터 결측 (data missingness) 처리와 장기적 시간 의존성 (long-range temporal dependencies)의 효율적인 모델링입니다. 우리는 이러한 과제를 해결하기 위해 1) 데이터 불확실성을 명시적으로 모델링하기 위해 관측 마스크 (observation masks)와 시간 차이 (time-deltas)로 원시 특징을 보강하는 XMD 인코딩 (XMD encoding), 그리고 2) 선형 계산 복잡도 (linear computational complexity)로 시간 의존성을 포착하는 양방향 Mamba-2 (bidirectional Mamba-2)를 사용하는 프레임워크인 MambaGaze를 제안합니다. 피험자 제외 (leave-one-subject-out) 평가 방식의 CLARE 및 CL-Drive 데이터셋에 대한 실험 결과, MambaGaze는 각각 76.8%와 73.1%의 정확도를 달성하였으며, 이는 CNN, Transformer, ResNet, VGG 베이스라인 모델보다 412% 포인트 더 높은 성능입니다. NVIDIA Jetson 플랫폼에서의 엣지 배포 (Edge deployment) 벤치마크 결과, 7.5W 미만의 전력 소비량으로 4368 FPS의 실시간 추론을 입증하여 웨어러블 인지 부하 모니터링에 대한 실현 가능성을 확인했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG (Machine Learning)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기