특징 융합(Feature Fusion)을 이용한 멀티모달 뇌종양 분류
요약
본 연구는 MRI 영상과 라디오믹 특징을 결합한 이중 분기 멀티모달 네트워크를 통해 뇌종양 분류 성능을 높이는 방법을 제안합니다. CNN과 MLP를 활용한 다양한 특징 융합 전략을 실험한 결과, 게이팅 융합 방식이 96.13%의 최고 정확도를 기록했습니다.
핵심 포인트
- MRI 영상과 91개의 라디오믹 특징을 결합한 멀티모달 접근법 제안
- CNN 백본과 전용 MLP를 활용한 이중 분기 네트워크 구조 설계
- 연결, 게이팅, 양방향 교차 모달 어텐션 등 다양한 융합 전략 비교
- 게이팅 융합 방식이 96.13%의 정확도로 가장 우수한 성능 달성
임상의들은 환자의 증상, 병력, 그리고 MRI 및 CT 스캔과 같은 양상(modalities)에서 얻은 정량적 영상 데이터를 통합하여 하나의 통일된 임상적 판단으로 뇌종양을 진단합니다. 그러나 대부분의 딥러닝 (deep learning) 모델은 MRI/CT 영상에만 의존하며, 임상의의 멀티모달 (multimodal) 추론 과정을 재현하는 데 실패하고 있습니다. 본 연구에서는 원본 MRI 스캔과 91개의 추출된 라디오믹 (radiomic) 특징(강도, 질감, 모양 및 경계 기술자)을 결합하여 뇌종양을 교종 (glioma), 수막종 (meningioma), 뇌하수체 종양 (pituitary), 그리고 종양 없음 (no-tumor)으로 분류하는 이중 분기 멀티모달 네트워크 (two-branch multimodal network)를 탐구합니다. 사전 학습된 CNN 백본 (backbone)은 영상 스트림을 인코딩하며, 전용 MLP는 라디오믹 스트림을 인코딩합니다. 두 스트림은 연결 (concatenation), 게이팅 (gated), 또는 양방향 교차 모달 어텐션 (bidirectional cross-modal attention) 전략을 통해 융합됩니다. 균형 잡힌 7,200개의 이미지 데이터셋을 대상으로 9회의 실험을 수행한 결과, 모든 멀티모달 구성이 단일 모달 (unimodal) 베이스라인보다 우수한 성능을 보였으며, 게이팅 융합 (gated fusion) 방식이 96.13%의 가장 높은 정확도를 달성했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기