BreastGPT: 유방암 임상 루틴의 전 과정을 위한 멀티모달 거대 언어 모델 (Multimodal Large Language Model)

유방암은 여성의 암 관련 사망의 주요 원인으로 남아 있습니다. 유방암의 임상 관리는 extit{선별 검사 (screening)}, extit{진단 (diagnosis)}, extit{치료 계획 (treatment planning)}에 이르는 임상 워크플로우 전반에 걸쳐 멀티모달 추론 (multimodal reasoning)을 필요로 하며, 각 단계는 서로 다른 영상 양식 (imaging modalities), 작업 목표, 그리고 추론 패턴을 포함합니다. 그러나 데이터 부족과 모델의 다재다능함의 한계로 인해, 기존의 의료용 MLLM (Multimodal Large Language Models)은 일반적으로 고립된 양식이나 좁은 작업군에 대해서만 평가되어, 워크플로우 수준의 임상 추론을 지원하는 능력이 제한적입니다. 본 연구에서는 먼저 5가지 영상 양식과 136개의 작업 템플릿에 걸친 17개의 하위 데이터셋에서 큐레이션된 1.86M개의 지시어 이행 (instruction-following) 쌍으로 구성된 워크플로우 정렬 유방 영상 지시어 코퍼스인 extbf{BreastStage}를 소개합니다. 이 코퍼스의 홀드아웃 분할 데이터인 extbf{BreastStage-Bench}는 유방암 케어 연속체 전반에 걸친 멀티모달 추론을 평가하기 위한 포괄적인 벤치마크를 제공합니다. 이 코퍼스를 기반으로, 우리는 표준 방사선학 (radiology)과 기가픽셀 병리학 (gigapixel pathology) 사이의 규모 격차를 해소하기 위해 이중 분기 시각 인코더 (dual-branch visual encoder)와 개념 보존 토큰 압축 (concept-preserving token compression) 기술을 갖춘 통합 MLLM인 extbf{BreastGPT}를 제안합니다. BreastStage-Bench에서 BreastGPT는 75.66%의 폐쇄형 정확도 (closed-ended accuracy)와 89.92%의 개방형 점수 (open-ended score)를 달성하였으며, 임상 단계 및 작업 형식 전반에서 범용 및 의료 특화 MLLM을 모두 능가했습니다. 이러한 결과는 워크플로우에 정렬된 데이터와 교차 규모 시각 모델링 (cross-scale visual modeling)이 임상에 기반한 의료용 MLLM을 구축하는 데 매우 중요하다는 것을 시사합니다. 모든 데이터, 코드 및 모델 체크포인트는 https://yangyy-liu.github.io/BreastGPT.io 에서 공개됩니다.