TRACE: 멀티모달 시계열 파운데이션 모델을 위한 시계열 조건부 추정

시계열 파운데이션 모델 (Time series foundation models, TS-FMs)은 광범위한 다운스트림 태스크 (downstream tasks)에 적응할 수 있는 일반화 가능한 시간적 표현 (temporal representations)을 학습하는 것을 목표로 합니다. 실제 멀티모달 (multimodal) 환경에서 시계열은 서로 다른 모달리티 (modalities)가 이질적인 시간 척도 (time scales)에서 관찰되거나 일부가 결여되는 시간적 정렬 불량 (temporal misalignment) 및 부분적 모달리티 누락 (partial modality missingness)의 영향을 빈번하게 받습니다. 기존의 접근 방식은 일반적으로 단순한 임퓨테이션 (imputation) 또는 마스킹 (masking) 전략에 의존하는데, 이는 교차 모달 의존성 (cross-modal dependencies)을 고려하지 못하며 종종 정렬이 어긋나거나 저하된 표현으로 이어집니다. 우리는 누락 및 불규칙한 샘플링 (irregular sampling) 상황에서 멀티모달 시계열 파운데이션 모델 파이프라인을 위한 조건부 추정 패러다임인 TRACE를 제안합니다. 이를 통해 불완전한 타겟 모달리티 (target modalities)를 가용한 보조 모달리티 (auxiliary modalities)로부터 체계적으로 추론할 수 있습니다. 우리는 MIMIC-IV 임상 데이터셋과 멀티모달 감성 분석을 위한 CMU-MOSI 및 CMU-MOSEI 벤치마크를 포함하여 의료 및 감성 컴퓨팅 (affective computing)을 아우르는 다양한 멀티모달 벤치마크에서 TRACE를 평가합니다. 다양한 다운스트림 예측 태스크와 모달리티 누락 설정 전반에 걸쳐, TRACE는 기존의 멀티모달 퓨전 (multimodal fusion) 접근 방식보다 일관되게 우수한 성능을 보였으며, 심각한 모달리티 누락에 대한 개선된 강건성 (robustness)과 더 신뢰할 수 있는 교차 모달 표현을 입증했습니다.