PAMF: 불완전한 시계열 데이터를 위한 사전 인지 멀티모달 융합 (Prior-Aware Multimodal Fusion)

의료 분야에서 멀티모달 시계열 (multimodal time series) 작업은 실제 상황에서 불완전한 관측치를 바탕으로 수행되는 경우가 많습니다. 예를 들어, 전극이 떨어져 ECG 세그먼트가 손실되거나 야간 모니터링 중에 호흡 채널 전체를 사용할 수 없는 경우 등이 이에 해당합니다. 이러한 결측 (missingness)은 일반적으로 두 가지 구조적으로 뚜렷한 패턴으로 나타납니다. 하나는 관측된 모달리티 내에서 특정 값이 누락되는 모달리티 내 결측 (within-modality missing)이며, 다른 하나는 모달리티 전체를 사용할 수 없는 모달리티 수준 결측 (modality-level missing)입니다. 기존 방법들은 일반적으로 마스크 (masks)나 결측 임베딩 (missing embeddings)을 통해 관측되지 않은 데이터를 암시적으로 표현할 뿐, 인스턴스별 결측 정보를 학습하지 못하며, 대부분 하나의 결측 패턴만을 위해 설계되었습니다. 자연스러운 접근 방식은 결측 데이터를 명시적으로 추정하는 것이지만, 기존의 임퓨테이션 (imputation, 결측치 보간) 방법들은 서로 다른 구조적 사전 정보 (structural priors)에도 불구하고 결측을 균일하게 취급하며, 임퓨테이션 과정이 다운스트림 태스크 (downstream tasks)와 분리되어 있어 다운스트림 태스크가 더 유익한 표현 (representations)을 향해 임퓨테이션을 가이드하는 것을 방해합니다.

이러한 한계를 해결하기 위해, 본 논문에서는 사전 인지 플로우 매칭 (prior-aware flow matching)과 가중치 공유 (weight sharing)를 통해 임퓨테이션을 다운스트림 예측과 결합하면서 서로 다른 결측 패턴을 명시적으로 처리하는 멀티모달 시계열 프레임워크인 PAMF를 제안합니다. 구체적으로, 이 방법은 두 가지 결측 유형을 구분하기 위해 유형별 사전 정보 (type-specific priors)를 사용하여 플로우 매칭 소스 상태 (flow-matching source state)를 초기화합니다. 나아가 가중치 공유를 포함한 구조적으로 매칭된 인코더 (encoders)를 통해 임퓨테이션과 분류 (classification)를 연결함으로써, 태스크 관련 표현을 임퓨테이션 과정으로 전달합니다. 다양한 멀티모달 의료 시계열 벤치마크에 대한 실험 결과, 제안된 방법은 다양한 데이터셋과 결측 설정에서 기존 베이스라인 (baselines)과 비교하여 가장 강력한 전반적인 다운스트림 성능을 달성함을 보여주었습니다.