의료 엔티리 트리 학습: MLLM 을 위한 엔티리 중심 의료 데이터 엔지니어링 프레임워크

요약

본 논문은 기존의 파편화된 데이터 큐레이션 방식이 MLLM의 잠재력을 제한하는 문제를 해결하기 위해, 엔티리 중심 의료 데이터 엔지니어링 프레임워크를 제안합니다. 이 프레임워크는 권위 있는 의학 문헌에서 질병, 해부학적 구조 등의 핵심 엔티티를 추출하여 계층적인 '의료 엔티티 트리(MET)'를 구축하는 것이 핵심입니다. MET를 기반으로 노드 기반 검색, 하이브리드 필터링/정렬 파이프라인, 지식 인식 데이터 합성 등 고급 데이터 엔진을 개발했으며, 이를 통해 MLLM의 복잡한 임상 추론 능력을 크게 향상시켰음을 입증했습니다.

핵심 포인트

• MLLMs의 의료 성능 저해 원인: 기존의 모달리티/부서별 파편화된 데이터 큐레이션 방식.
• 핵심 제안: 엔티리 중심 의료 데이터 엔지니어링 프레임워크를 통해 '의료 엔티티 트리(MET)' 구축.
• MET 기반 고급 엔진 구성 요소: 노드 기반 검색, 시각-의미 대응을 위한 하이브리드 필터링/정렬 파이프라인, 지식 인식 데이터 합성.
• 성과 입증: 6가지 의료 벤치마크에서 MLLM의 복잡한 임상 쿼리 처리 및 추론 능력을 현저히 향상시킴.