OphMAE: 적응적 안과 진단을 위한 체적 및 평면 영상 융합을 지원하는 기반 모델

요약

본 논문은 체적 깊이의 3D OCT와 평면 컨텍스트의 2D en face OCT를 효과적으로 결합하도록 설계된 안과 다중 모달리티 기반 모델인 OphMAE를 제안합니다. OphMAE는 새로운 교차 모달리티 융합 구조와 적응적 추론 메커니즘을 통해 대규모 데이터셋에서 사전 학습되었으며, 다양한 진단 과제에서 기존 모델들을 능가하는 최상의 성능을 입증했습니다. 특히 단일 모달리티 입력에서도 높은 정확도를 유지하며 뛰어난 데이터 효율성을 보여주어 임상 환경에서의 실용적 적용 가능성을 높였습니다.

핵심 포인트

• OphMAE는 3D OCT와 2D en face OCT라는 이질적인 안과 영상 모달리티를 결합하는 다중 모달리티 기반 모델입니다.
• 새로운 교차 모달리티 융합 구조와 적응적 추론 메커니즘을 통해 진단 성능을 극대화했습니다.
• AMD 및 DME 등 주요 질환에 대해 기존 단일/다중 모달리티 모델 대비 높은 AUC(96.9%, 97.2%)를 달성하며 우수한 성능을 입증했습니다.
• 강력한 엔지니어링 적응성을 보여, 데이터가 제한적인 환경에서도 높은 진단 정확도를 유지하는 뛰어난 데이터 효율성을 갖추었습니다.