임상 예후를 위한 이종 증거 통합 기반 검색 증강 멀티모달 언어 모델

임상 예후는 구조화된 측정치, 생리적 파형(physiological waveforms), 종단적 병력(longitudinal history), 그리고 인구 집단 맥락을 통합하는 것을 필요로 합니다. 우리는 PRISM (Population-Retrieved Inference for Structured Multimodal Prognosis)이라는 멀티모달 언어 모델을 소개합니다. 이 모델은 피처별 수치 토큰화(per-feature numerical tokenization), 종단적 ECG의 최신성 가중치 집계(recency-weighted aggregation of longitudinal ECGs), 그리고 이중 모달리티 인구 메모리 뱅크를 결합합니다. 검색(Retrieval)은 표현 공간(representation space)에서 작동합니다: 모델은 유사한 훈련 코호트 만남(training-cohort encounters)의 평균 풀링 임베딩(mean-pooled embeddings)을 받고, 개별 검색된 기록이 프롬프트에 들어가지 않습니다. 1,443개 태스크 MDS-ED 벤치마크에서 PRISM은 진단(diagnosis)에서 86.2%, 악화(deterioration)에서 93.1%, 중환자실 입원(ICU admission)에서 91.8%, 사망률(mortality)에서 92.8%의 AUROC를 달성합니다. 이 결과는 보고된 기준선 모델들이 사용할 수 없는 96시간 전 도착 창(pre-arrival window)을 사용했습니다. 벤치마크 창 입력만으로 PRISM은 0.8895 AUROC에 도달했으며, 이는 UniPACT의 0.8937 및 MDS-ED의 0.8889와 비교됩니다. 동일한 다섯 가지 증거 스트림과 고정된 인코더를 사용한 매칭 입력 압축 융합 모델(matched-input compact fusion model)은 0.7652 AUROC에 도달했으며, 이는 PRISM의 0.9092와 비교됩니다. 수치 EHR 인코딩을 텍스트 직렬화로 대체하면 AUROC가 3.66 포인트 감소하고; 전 도착 병력을 제거하면 1.97 포인트 감소하며; 검색을 0으로 설정하면 0.99 포인트 감소합니다. 실제 검색은 무작위 이웃 검색보다 0.97의 매크로 평균 포인트를 능가했지만, 쌍을 이루는 태스크 레벨 부호 검정(paired task-level sign test)으로는 균일한 우위를 확립하지 못했습니다 (p=0.067). 외부 MC-MED 코호트에서 지도 미세 조정(supervised fine-tuning)은 0.8611 AUROC에 도달했으며, 이는 국소적으로 훈련된 경사 부스팅(gradient boosting)의 0.8227 및 소스 전용 PRISM의 0.7841과 비교됩니다. 이러한 결과는 구조 인식 멀티모달 통합과 지도 외부 적응을 뒷받침합니다.