단일 세포 표현 학습을 위한 프로토타입 기반 후(Post)-사전 학습

요약

본 논문은 단일 세포 표현 학습(SCRL)의 한계점, 특히 데이터의 꼬리 분포와 공변량 변화에 따른 일반화 문제를 해결하기 위해 CellRefine이라는 후(post)-사전 학습 방법을 제안합니다. CellRefine은 마커 유전자 세트 같은 구조적 사전 지식을 통합하여 모델이 세포의 잠재 임베딩 다양체를 효과적으로 정제하도록 돕습니다. 실험 결과, 이 방법은 다양한 계산 생물학 작업에서 다운스트림 성능을 일관되게 개선하며 최대 15%까지 향상시키는 것으로 나타났습니다.

핵심 포인트

• 단일 세포 표현 학습(SCRL) 모델은 대규모 언어 모델(LLM)의 영감을 받았으나, 데이터의 꼬리 분포와 공변량 변화에 취약하다는 근본적인 한계를 가진다.
• 제안된 CellRefine은 사전 학습과 파인튜닝 사이에 작동하는 후(post)-사전 학습 방법이다.
• CellRefine은 마커 유전자 세트 같은 구조적 사전 지식(structural priors)을 통합하여 잠재 임베딩 다양체를 정제한다.
• 이 방법은 다양한 계산 생물학 작업에서 다운스트림 성능을 일관되게 개선하며 최대 15%의 성능 향상을 보여준다.