Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
LSM(Light Sheet Fluorescence Microscopy) 데이터를 위한 멀티모달 3D 파운데이션 모델을 제안합니다. 마스크 재구성 및 이미지-텍스트 정렬을 통해 학습된 이 모델은 적은 데이터로도 세그멘테이션, 분류, 디블러링 등 다양한 태스크에서 높은 성능을 보입니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기Light sheet fluorescence microscopy (LSM)는 생물학적 표본의 고해상도 3차원 (3D) 이미징을 가능하게 하여, 세포 조직, 병리학 및 혈관 네트워크 연구를 위한 풍부한 볼륨 데이터 (volumetric data)를 제공합니다. 그러나 LSM 데이터의 크기, 차원성 및 어노테이션 (annotation) 부담으로 인해 지도 학습 기반의 딥러닝 (deep learning) 접근 방식은 비용이 많이 들고 확장하기 어렵습니다. 또한, 어노테이션되지 않은 LSM 볼륨 데이터가 풍부함에도 불구하고, 계산상의 어려움과 볼륨 표현 학습 (volumetric representation learning)의 복잡성으로 인해 이 모달리티 (modality)를 위한 파운데이션 모델 (foundation models)은 여전히 미개척 상태로 남아 있습니다. 본 연구에서는 다양한 유기체, 염색법 및 이미징 프로토콜을 아우르는 대규모 큐레이션된 3D 이미지 컬렉션으로 사전 학습된 LSM 데이터용 3D 파운데이션 모델을 소개합니다. 우리는 마스크 재구성 (masked reconstruction)과 이미지-텍스트 정렬 (image-text alignment)을 공동으로 최적화함으로써 전이 가능한 볼륨 표현 (transferable volumetric representations)을 학습합니다. 사전 학습된 백본 (backbone)은 어노테이션 부담을 획기적으로 줄여주며, 다양한 다운스트림 태스크 (downstream tasks)에 대한 효율적인 퓨샷 (few-shot) 적응을 가능하게 합니다. 우리는 이 접근 방식을 다운스트림 세그멘테이션 (segmentation), 분류 (classification) 및 디블러링 (deblurring)에 대해 평가합니다. 우리의 결과는 (1) 표준 평가 지표를 사용하여 측정했을 때와 (2) 도메인 전문가에 의해 엄격하게 평가되었을 때 모두 베이스라인 (baselines) 대비 일관된 개선을 보여줍니다. 이는 다양한 LSM 분석 태스크 전반에서 성능을 향상시키면서 어노테이션 요구 사항을 줄이는 파운데이션 모델 사전 학습의 잠재력을 강조합니다. 사전 학습된 모델 가중치와 사전 학습 및 미세 조정 (finetuning)을 위한 코드는 다음에서 공개적으로 사용할 수 있습니다: https://github.com/AdinaScheinfeld/lsm_fm_public_repo.git.