자연 도메인 기반 모델이 가속화된 심장 MRI 재구성 가속화에 효과적인가?

대규모 사전 학습된 foundation model(기초 모델)의 등장으로 컴퓨터 비전 분야가 변모하여 다양한 다운스트림(downstream) 작업에서 강력한 성능을 발휘할 수 있게 되었습니다. 그러나 물리학 기반 역문제 (physics-based inverse problems), 예를 들어 가속화된 심장 MRI 재구성 (accelerated cardiac MRI reconstruction) 과 같은 분야에서 그들의 잠재력은 여전히 크게 탐구되지 않았습니다. 본 연구에서는 자연 도메인 (natural-domain) foundation model 이 가속화된 심장 MRI 재구성에 효과적인 이미지 사전 (image prior) 으로 작용할 수 있는지 조사하고, BiomedCLIP 과 같은 도메인 특정 (domain-specific) 대안과 비교하여 성능을 평가합니다. 우리는 각 캐스케이드 (cascade) 내에 CLIP, DINOv2, BiomedCLIP 과 같은 사전 학습된 고정 시각 인코더 (frozen visual encoders) 를 통합하여 재구성 과정을 안내하는 언롤드 (unrolled) 재구성 프레임워크를 제안합니다. 광범위한 실험을 통해 우리는 표준 분포 내 (in-distribution) 설정에서 E2E-VarNet 과 같은 작업 특정 최첨단 재구성 모델이 우수한 성능을 달성하는 반면, foundation model 기반 접근법도 경쟁력을 유지함을 보여줍니다. 더욱 중요한 것은 심장 MRI 에서 학습되고 해부학적으로 구별되는 무릎 및 뇌 데이터셋에서 평가되는 도전적인 교차 도메인 (cross-domain) 시나리오에서 foundation model 이 고 가속화 인자 (high acceleration factors) 와 제한된 저주파 샘플링 (limited low-frequency sampling) 하에서 특히 개선된 견고성 (robustness) 을 보인다는 점입니다. 우리는 또한 CLIP 과 같은 자연 이미지 사전 학습 모델이 매우 전달 가능한 구조적 표현 (transferable structural representations) 을 학습하는 반면, 도메인 특정 사전 학습 (BiomedCLIP) 은 더 잘 정의되지 않은 (ill-posed) 영역에서适度的 추가 이점을 제공함을 관찰합니다. 전반적으로, 우리의 결과는 사전 학습된 foundation model 이 전달 가능한 사전 (transferable priors) 의 유망한 출처임을 시사하며, 이는 가속화된 MRI 재구성의 견고성과 일반화 능력을 향상시킵니다.