텍스트는 무엇을 알고, 테이블은 언제인지를 안다: 검색 증강 멀티모달 정렬을 통한 임상 타임라인 재구성

정밀한 임상 타임라인 (clinical timelines)을 재구성하는 것은 패혈증 (sepsis)과 같이 복잡하고 이질적인 질환에서 환자의 궤적을 모델링하고 위험을 예측하는 데 필수적입니다. 비정형 임상 서사 (unstructured clinical narratives)는 환자의 경과에 대해 의미론적으로 풍부하고 문맥적으로 완전한 설명을 제공하지만, 시간적 정밀도가 부족하고 이벤트 타이밍이 모호한 경우가 많습니다. 반대로, 구조화된 전자 건강 기록 (EHR) 데이터는 정밀한 시간적 앵커 (temporal anchors)를 제공하지만, 임상적으로 의미 있는 이벤트의 상당 부분을 놓칩니다. 본 연구에서는 텍스트에서 추출된 절대적 임상 타임라인의 시간적 정밀도를 향상시키기 위해 이 간극을 메우는 검색 증강 멀티모달 정렬 (retrieval-augmented multimodal alignment) 프레임워크를 소개합니다. 우리의 접근 방식은 타임라인 재구성을 그래프 기반의 다단계 프로세스로 공식화합니다. 먼저 서사에서 핵심 앵커 이벤트를 추출하여 초기 시간적 스캐폴드 (temporal scaffold)를 구축하고, 이 백본 (backbone)을 기준으로 비핵심 이벤트들을 배치한 다음, 검색된 구조화된 EHR 행들을 외부 시간적 증거로 사용하여 타임라인을 보정합니다. MIMIC-III 및 MIMIC-IV를 아우르는 i2m4 벤치마크에서 지시어 튜닝된 대규모 언어 모델 (instruction-tuned large language models)을 사용하여 평가한 결과, 우리의 멀티모달 파이프라인은 이벤트 일치율 (event match rates)을 저해하지 않으면서도, 단일 모달리티 텍스트 전용 재구성 방식에 비해 거의 모든 평가 모델에서 절대적 타임스탬프 정확도 (AULTC)를 일관되게 향상시키고 시간적 일치성 (temporal concordance)을 개선했습니다. 나아가, 우리의 경험적 간극 분석 (empirical gap analysis)에 따르면 텍스트에서 유도된 이벤트의 34.8%가 테이블 기록에는 완전히 존재하지 않는 것으로 나타났으며, 이는 이러한 모달리티들을 정렬하는 것이 어느 한 소스만 사용하는 것보다 환자 궤적에 대해 더 시간적으로 충실하고 임상적으로 유익한 재구성을 생성할 수 있음을 입증합니다.