Light Sheet Fluorescence Microscopy를 위한 멀티모달 3D Foundation Model: Few-Shot

Light sheet fluorescence microscopy (LSM)는 생물학적 표본의 고해상도 3차원 (3D) 이미징을 가능하게 하여, 세포 조직, 병리학 및 혈관 네트워크 연구를 위한 풍부한 볼륨 데이터 (volumetric data)를 제공합니다. 그러나 LSM 데이터의 크기, 차원성 및 어노테이션 (annotation) 부담으로 인해 지도 학습 기반의 딥러닝 (deep learning) 접근 방식은 비용이 많이 들고 확장하기 어렵습니다. 또한, 어노테이션되지 않은 LSM 볼륨 데이터가 풍부함에도 불구하고, 계산상의 어려움과 볼륨 표현 학습 (volumetric representation learning)의 복잡성으로 인해 이 모달리티 (modality)를 위한 파운데이션 모델 (foundation models)은 여전히 미개척 상태로 남아 있습니다. 본 연구에서는 다양한 유기체, 염색법 및 이미징 프로토콜을 아우르는 대규모 큐레이션된 3D 이미지 컬렉션으로 사전 학습된 LSM 데이터용 3D 파운데이션 모델을 소개합니다. 우리는 마스크 재구성 (masked reconstruction)과 이미지-텍스트 정렬 (image-text alignment)을 공동으로 최적화함으로써 전이 가능한 볼륨 표현 (transferable volumetric representations)을 학습합니다. 사전 학습된 백본 (backbone)은 어노테이션 부담을 획기적으로 줄여주며, 다양한 다운스트림 태스크 (downstream tasks)에 대한 효율적인 퓨샷 (few-shot) 적응을 가능하게 합니다. 우리는 이 접근 방식을 다운스트림 세그멘테이션 (segmentation), 분류 (classification) 및 디블러링 (deblurring)에 대해 평가합니다. 우리의 결과는 (1) 표준 평가 지표를 사용하여 측정했을 때와 (2) 도메인 전문가에 의해 엄격하게 평가되었을 때 모두 베이스라인 (baselines) 대비 일관된 개선을 보여줍니다. 이는 다양한 LSM 분석 태스크 전반에서 성능을 향상시키면서 어노테이션 요구 사항을 줄이는 파운데이션 모델 사전 학습의 잠재력을 강조합니다. 사전 학습된 모델 가중치와 사전 학습 및 미세 조정 (finetuning)을 위한 코드는 다음에서 공개적으로 사용할 수 있습니다: https://github.com/AdinaScheinfeld/lsm_fm_public_repo.git.