운전자 상태 월드 모델링을 통한 위험 인식 선택적 멀티모달 운전자 모니터링

자율 주행 차량에서의 지속적인 운전자 모니터링은 불확실한 운전자 상태 하에서 안전하지 않은 결정을 피하면서도 낮은 지연 시간(low-latency)의 추론을 요구합니다. 대규모 시각-언어 모델(Large vision-language models)은 폭넓은 멀티모달 사전 정보(multimodal priors)를 제공하지만, 이러한 환경에서의 지연 시간과 제한된 신뢰성으로 인해 상시 작동하는 차량 내부 모니터로 사용하기에는 부적합합니다. 본 연구에서는 배포 가능한 멀티모달 운전자 모니터링을 위한 비용 인식 선택적 추론(cost-aware selective inference) 프레임워크를 제안합니다. 핵심 시스템은 차량 내부의 시각적 관찰(visual observations)과 윈도우 레벨의 HR/EDA(심박수/피부 전도도) 신호를 결합한 경량 RGB-생체 신호 학생 모델(RGB-physiological student)과, 빠른 예측을 수용할지 아니면 안전을 위해 개입을 위해 기권할지를 결정하는 학습된 게이트(learned gate)로 구성됩니다. 추가적인 제어 실험을 통해 학습된 점수(scores)가 시나리오 사전 정보(scenario priors)를 넘어 샘플 수준의 정보를 포함하고 있음을 보여주었으나, 정확한 생체 신호 동기화(physiological synchronization)는 여전히 한계로 남아 있습니다. 예측 증거를 통합하기 위해, 우리는 잠재적 운전자 상태 특징(latent driver-state features)을 전개(roll out)하고 미래의 빠른 모델 오류 및 반사실적 시스템 수준 행동 비용(counterfactual system-level action costs)을 추정하는 컴팩트한 운전자 상태 월드 모델링(driver-state world modeling) 모듈을 추가로 연구합니다. 시나리오 유도 운전자 요구 인식(scenario-induced driver-demand recognition)에서, RGB-생체 신호 학생 모델은 RGB 전용 및 생체 신호 전용 베이스라인보다 성능이 향상되어, 11.39M 개의 파라미터와 3.08ms의 추론 지연 시간으로 0.7440의 Macro-F1 및 0.9099의 균형 정확도(balanced accuracy)를 달성했습니다. 비용 인식 선택적 추론은 상시 빠른 추론(always-fast inference) 시 17.37%였던 안전하지 않은 미검출(false negatives) 비율을 배포 수준의 지연 시간을 유지하면서 시드(seeds) 전반에 걸쳐 약 5%로 감소시켰습니다. 운전자 상태 월드 모델링은 가치 있는 예측 신호를 제공하지만, 최악의 그룹 평가(worst-group evaluations)에서는 지속적인 동작 지점 캘리브레이션 드리프트(operating-point calibration drift)가 나타납니다. 궁극적으로 신뢰할 수 있는 엣지 운전자 모니터링을 위해서는 인지 백본(perception backbones)뿐만 아니라 위험 인식 선택적 제어(risk-aware selective control) 및 그룹 강건 캘리브레이션(group-robust calibration)의 발전이 필요합니다.