Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
TRACE는 멀티모달 시계열 파운데이션 모델을 위한 새로운 조건부 추정 패러다임을 제안합니다. 시간적 정렬 불량과 모달리티 누락 문제를 해결하기 위해 보조 모달리티로부터 타겟 모달리티를 체계적으로 추론합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기시계열 파운데이션 모델 (Time series foundation models, TS-FMs)은 광범위한 다운스트림 태스크 (downstream tasks)에 적응할 수 있는 일반화 가능한 시간적 표현 (temporal representations)을 학습하는 것을 목표로 합니다. 실제 멀티모달 (multimodal) 환경에서 시계열은 서로 다른 모달리티 (modalities)가 이질적인 시간 척도 (time scales)에서 관찰되거나 일부가 결여되는 시간적 정렬 불량 (temporal misalignment) 및 부분적 모달리티 누락 (partial modality missingness)의 영향을 빈번하게 받습니다. 기존의 접근 방식은 일반적으로 단순한 임퓨테이션 (imputation) 또는 마스킹 (masking) 전략에 의존하는데, 이는 교차 모달 의존성 (cross-modal dependencies)을 고려하지 못하며 종종 정렬이 어긋나거나 저하된 표현으로 이어집니다. 우리는 누락 및 불규칙한 샘플링 (irregular sampling) 상황에서 멀티모달 시계열 파운데이션 모델 파이프라인을 위한 조건부 추정 패러다임인 TRACE를 제안합니다. 이를 통해 불완전한 타겟 모달리티 (target modalities)를 가용한 보조 모달리티 (auxiliary modalities)로부터 체계적으로 추론할 수 있습니다. 우리는 MIMIC-IV 임상 데이터셋과 멀티모달 감성 분석을 위한 CMU-MOSI 및 CMU-MOSEI 벤치마크를 포함하여 의료 및 감성 컴퓨팅 (affective computing)을 아우르는 다양한 멀티모달 벤치마크에서 TRACE를 평가합니다. 다양한 다운스트림 예측 태스크와 모달리티 누락 설정 전반에 걸쳐, TRACE는 기존의 멀티모달 퓨전 (multimodal fusion) 접근 방식보다 일관되게 우수한 성능을 보였으며, 심각한 모달리티 누락에 대한 개선된 강건성 (robustness)과 더 신뢰할 수 있는 교차 모달 표현을 입증했습니다.