멀티모달 예측은 언제 생물학적으로 뒷받침되는가? 진단적 평가 프레임워크

종양학 (Oncology) 분야의 멀티모달 모델 (Multimodal models)은 정확한 예측을 생성할 수 있지만, 정확한 예측만으로는 모델이 여러 양상 (Modalities)에 걸쳐 공유되는 생물학 (Biology)을 학습했는지, 특정 양상에 국한된 생물학을 학습했는지, 아니면 실제 생물학보다는 교란 요인 (Confounders)을 반영하는 가짜 상관관계 (Spurious correlations)를 학습했는지를 밝혀낼 수 없습니다. 우리는 5개의 영 참조 지표 (Null-referenced metrics)와 규칙 기반 결정 절차를 사용하여, 주어진 작업과 양상에 대해 멀티모달 표현 (Multimodal representations)을 네 가지 진단 시나리오로 분류하는 모델 불가지론적 사후 평가 프레임워크 (Model-agnostic post-hoc evaluation framework)인 DECAT를 소개합니다. 이 프레임워크는 학습된 표현 (Learned representations)을 기반으로 작동하며, 어떤 특정 교란 요인이 존재하는지에 대한 지식이 필요하지 않고, 증거가 불충분할 경우 판단 불능 (Indeterminate)을 반환합니다. 우리는 4가지 멀티모달 모델 클래스에 걸친 합성 데이터 (Synthetic data, 2,500개 이상의 학습된 표현)와 8,979명의 TCGA 환자로부터 얻은 실제 데이터에 대해 DECAT를 검증하였으며, 멀티모달 임베딩 (Multimodal embeddings)과 5개의 사전 학습된 병리 파운데이션 모델 (Pretrained pathology foundation models)을 모두 평가했습니다. 얽힌 모델 (Entangled models, 예: CLIP)은 거의 완벽한 공유 생물학 (Shared biology) 탐지 성능을 보였으나, 실제 파운데이션 모델 임베딩에서 공유 생물학이 부재한 대다수의 경우에도 공유 생물학이 있다고 잘못 주장했습니다. 이러한 오탐율 (False claim rate)은 교란 강도 (Confounder strength)가 높아질수록 증가하며, 따라서 더 큰 코호트 (Cohorts)와 더 강력한 표현 (Representations)은 더 확신에 차 있지만 여전히 부정확한 진단을 내리게 됩니다. 쌍을 이루는 RNA가 없는 멀티모달 TCGA 임베딩과 5개의 병리 파운데이션 모델 모두에 DECAT를 적용했을 때, DECAT는 사후 계층화 (Post-hoc stratification)를 통해 확인된 바와 같이 교란 요인 라벨 (Confounder labels) 없이도 AUROC에서는 보이지 않는 교란을 탐지해 냈습니다.