생성형 프레임워크를 이용한 의료 영상에서의 교차 모달리티 이미지 변환
요약
본 연구는 의료 영상 분야에서 재현 가능하고 표준화된 비교 평가를 제공하는 생성형 프레임워크를 제안합니다. 이 프레임워크는 3D Image-to-Image (I2I) 변환 방법론을 체계적으로 비교하며, GANs와 잠재 생성 모델 등 총 7개의 다양한 생성 모델을 활용하여 11개 데이터셋과 77회의 실험을 수행했습니다. 연구 결과, 모든 작업에서 GANs가 잠재 생성 모델보다 우수한 성능을 보였으며, 합성된 영상이 임상의의 시각적 테스트에서도 실제 영상과 구별하기 어려울 정도로 높은 수준임을 입증했습니다.
핵심 포인트
- 제안된 프레임워크는 3D I2I 변환에 대한 재현 가능하고 표준화된 비교 평가를 제공하여, 이질적인 임상 작업 전반의 방법론적 격차를 해소합니다.
- 총 7개의 생성 모델(GANs 및 잠재 생성 모델)을 11개 데이터셋과 77회의 실험 조건에서 체계적으로 비교 분석했습니다.
- 정량적 성능 평가 결과, GANs가 모든 작업에서 잠재 생성 모델보다 우수한 성능을 보였으며, 특히 SRGAN이 유의미한 우월성을 입증했습니다.
- 합성된 의료 영상은 임상의를 대상으로 한 시각적 테스트(Visual Turing test)에서 실제 획득 영상과 구별하기 어려울 정도로 높은 사실성을 가졌습니다.
의료 영상 대 영상 (I2I, Image-to-Image) 변환은 가상 스캐닝, 즉 추가적인 획득 없이 소스 모달리티로부터 타겟 이미징 모달리티를 합성하는 것을 가능하게 합니다. 증가하는 관심에도 불구하고, 제안된 대부분의 방법은 2D 슬라이스에서 작동하며, 서로 다른 실험 설정이 적용된 개별적인 작업들에서 평가되고 임상적 검증이 부족합니다. 본 연구의 주요 기여는 종양학 영상에서의 3D I2I 변환 방법들에 대한 재현 가능하고 표준화된 비교 평가이며, 이는 이질적인 임상 작업 전반에 걸쳐 전처리, 분할, 추론 및 다단계 평가를 표준화하도록 설계되었습니다. 이 프레임워크 내에서, 우리는 세 가지 생성적 적대 신경망 (GANs: Pix2Pix, CycleGAN, SRGAN)과 네 가지 잠재 생성 모델 (Latent Diffusion Model, Latent Diffusion Model+ControlNet, Brownian Bridge, Flow Matching)을 포함한 7개의 생성 모델을 비교하였습니다. 이는 세 가지 해부학적 영역 (머리/목, 폐, 골반)과 네 가지 변환 방향 (cone-beam CT에서 CT로, MRI에서 CT로, CT에서 PET로, MRI T2-weighted에서 T2-FLAIR로)에 걸친 11개의 데이터셋을 대상으로 하며, 균일한 학습, 추론 및 평가 조건 하에서 총 77회의 실험을 수행하였습니다. 결과에 따르면 GANs가 모든 작업에서 잠재 생성 모델보다 우수한 성능을 보였으며, 특히 SRGAN이 통계적으로 유의미한 우월성을 달성했습니다. 병변 수준 (lesion-level) 분석 결과, 모든 모델이 작은 병변을 처리하는 데 어려움을 겪고 있으며, CT에서 PET 합성 시 모델들이 절대적 섭취 관련 강도 (uptake-related intensity)보다는 병변의 형태를 더 신뢰성 있게 재현한다는 것을 밝혀냈습니다. 또한 우리는 15명의 영상의학과 전문의를 포함한 17명의 의사를 대상으로 시각적 튜링 테스트 (Visual Turing test)를 실시하였으며, 그 결과 분류 정확도가 무작위 확률에 가까운 수준 (56.7%)으로 나타나 합성된 볼륨이 실제 획득 영상과 거의 구별할 수 없음을 확인하였습니다. 동시에 정량적 지표와 임상적 선호도 사이의 괴리를 드러냈습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기