의료 엔티리 트리 학습: MLLM 을 위한 엔티리 중심 의료 데이터 엔지니어링 프레임워크

멀티모달 대형 언어 모델 (MLLMs) 은 의료 분야에서 변혁적인 잠재력을 보여주었으나, 모달리티나 부서별로 거칠게 분할하는 기존 데이터 큐레이션 전략에 의해 성능이 저해되고 있습니다. 이러한 파편화된 접근 방식은 임상 의학 지식의 계층적이고 상호 연결된 성격을 포착하지 못하여, 모델의 세밀한 인식과 복잡한 추론 능력을 제한합니다. 본 논문에서는 새로운 엔티리 중심 의료 데이터 엔지니어링 (Entity-Centric Medical Data Engineering) 프레임워크를 제안합니다. 우리는 권위 있는 의학 문헌에서 엔티리를 자동으로 추출하여 질병, 해부학적 구조, 모달리티, 증상 등을 통합된 지식 저장소에 체계적으로 인코딩하는 계층적 구조인 의료 엔티리 트리 (Medical Entity Tree, MET) 를 구성합니다. MET 를 기반으로 하여, 우리는 다음을 포함한 고급 데이터 엔진을 제안합니다: (1) 노드 기반 검색 (node-guided retrieval) 을 통해 원본 데이터를 특정 의학 개념에 고정시키고, (2) 정확한 시각-의미 대응을 보장하기 위한 2 단계 하이브리드 필터링 및 정렬 파이프라인, (3) 구조적 제약을 활용하여 풍부한 캡션과 표적 추론 VQA 쌍을 생성하는 지식 인식 데이터 합성 (knowledge-aware data synthesis) 입니다. 여섯 가지 의료 벤치마크에 대한 광범위한 평가 결과, 우리의 접근 방식은 범용 MLLM 의 의학 능력을 현저히 향상시켜 복잡한 임상 쿼리를 처리하고 다양한 의료 컨텍스트에서 최첨단 성능을 달성할 수 있는 능력을 개선함을 입증했습니다.