Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
CT 시각-언어 파운데이션 모델의 해부학적 맥락을 강화하기 위한 경량 프레임워크 ACA를 소개합니다. ACA는 기존 모델을 동결한 상태에서 해부학적 수준의 정렬을 수행하여 전역적 맥락을 보존하면서도 높은 효율성을 보여줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기CT 시각-언어 파운데이션 모델 (vision-language foundation models)은 다양한 다운스트림 태스크에서 유망한 성능을 보여주었으나, 일반적으로 미세한 해부학적 신호를 희석시키는 전체 볼륨 표현 (whole-volume representations) 방식으로 학습됩니다. 미세한 시각-언어 사전 학습 (fine-grained vision-language pre-training)은 해부학적 수준의 시각적 특징을 해부학 특화 텍스트와 정렬함으로써 이 문제를 해결하지만, 그 과정에서 전체 볼륨 모델이 제공하는 전역적 맥락 (global context)을 버리게 됩니다. 또한, 기존의 미세 조정 방식은 처음부터 학습(train from scratch)하기 때문에 계산 비용이 많이 듭니다. 우리는 동결된 (frozen) CT 파운데이션 모델의 표현을 해부학적 수준의 시각-언어 정렬을 위해 적응시키는 동시에 전역적 맥락화를 강화하는 경량 프레임워크인 ACA (Anatomy Contextualized Adaptation)를 소개합니다. ACA는 TotalSegmentator를 사용하여 CT 볼륨을 해부학적 수준의 임베딩 (embeddings)으로 분해하며, 이는 해부학 간 관계를 포착하는 트랜스포머 (transformer)를 통해 정제되고, 방사선 보고서에서 추출된 해부학별 및 스캔 수준 텍스트 모두와 정렬됩니다. Merlin 및 CT-RATE에서 평가한 결과, ACA는 임베딩이 캐싱된 후 1시간 미만의 학습 시간만 필요하면서도, 제로샷 소견 분류 (zero-shot finding classification)에서 동결된 파운데이션 모델 베이스라인과 기존의 미세 조정 방식 모두를 일관되게 능가합니다. 또한 ACA의 해부학 간 트랜스포머 (inter-anatomy transformer)가 학습한 어텐션 가중치 (attention weights)는 타당한 해부학 간 맥락 라우팅 (cross-anatomy context routing)을 나타냅니다. 종합적으로, 이러한 결과는 ACA가 전역적 해부학적 맥락을 보존하고 강화하면서, CT 파운데이션 모델을 해부학적으로 근거한 시각-언어 정렬에 적응시키는 경량화된 접근 방식임을 뒷받침합니다.