누락된 모달리티를 위한 잠재 세계 복구 (Latent World Recovery) 기반 멀티모달 학습

우리는 누락된 모달리티(missing modalities) 하에서의 멀티모달 학습을 연구하며, 특히 이질적인 모달리티가 의사결정이 필요할 때 부분적으로만 사용 가능한 생명과학 응용 분야에서 동기를 얻었습니다. 우리는 두 가지 핵심 아이디어에 기반한 프레임워크인 Latent World Recovery (LWR)를 제안합니다: (i) 서로 다른 모달리티로부터의 모달리티별 임베딩(modality-specific embeddings)을 공유 잠재 공간(shared latent space)에 정렬하고, (ii) 훈련 및 추론 시 실제로 사용 가능한 모달리티의 임베딩만을 융합하여 통합 표현(unified representation)을 구성하는 것입니다. LWR는 누락된 모달리티를 보간(imputing)하거나 고정된 모달리티 세트를 요구하기보다는, 각 모달리티를 근본적인 잠재 상태(underlying latent state)에 대한 부분적 인식으로 취급하고 관측된 모달리티로부터 직접 가용성 인지 표현 학습(availability-aware representation learning)을 수행합니다. 이러한 이웃 기반 잠재 정렬과 가용성 인지 모달리티 융합의 조합은 누락된 모달리티를 명시적으로 재구성하여 발생하는 오류 전파를 피하면서, 부분 관찰 하에서도 강력한 멀티모달 예측을 가능하게 합니다. 우리는 제안된 프레임워크를 실제 세계의 불완전한 다중 오믹스(multi-omics) 벤치마크에서 평가하고, 암 표현형 분류 및 생존 예측과 같은 다운스트림 태스크에 효과적인 접근 방식을 제공함을 입증합니다.