DeepSpot: H&E 이미지로부터 공간 전사체학 예측을 위한 공간적 맥락 활용
요약
DeepSpot은 H&E(Hematoxylin and Eosin) 이미지와 같은 조직학적 이미지를 활용하여 공간 전사체학(spatial transcriptomics) 데이터를 예측하는 모델입니다. 이 기술은 사용자가 별도의 GPU 없이도 가상 공간 전사체학을 수행할 수 있는 Aurora 플랫폼과 연계되어 연구에 활용됩니다.
핵심 포인트
- H&E 이미지 기반의 공간 전사체학 데이터 예측 가능
- DeepSpot-M 등 차세대 모델로 성능 개선 및 확장
- Aurora 플랫폼을 통해 자동화된 가상 실험 환경 제공
- AESTETIK 같은 통합 모델로 크로스 샘플 분석 지원
DeepSpot: H&E 이미지로부터 공간 전사체학 예측을 위한 공간적 맥락 활용
저자: Kalin Nonchev, Sebastian Dawo, Karina Silina, Holger Moch, Sonali Andani, Tumor Profiler Consortium, Viktor Hendrik Koelzer, 및 Gunnar Rätsch
사전 출판본은 여기에서 이용 가능합니다.
뉴스
- [2026년 09월] H&E 이미지로부터의 가상 공간 전사체학을 위한 no-code 플랫폼인 Aurora를 소개합니다. Aurora는 사용자가 자체 GPU를 보유할 필요 없이 가상 공간 전사체학을 가능하게 하며, 공간 전사체학 예측이 정확히 수행되도록 설계된 완전 자동화 워크플로우를 제공합니다. 인터랙티브한 Aurora 데모를 사용해 보세요.
- [2026년 06월] DeepSpot의 차세대 모델인 DeepSpot-M: 조직학 이미지로부터 전사체 전체에 대한 다중 모드 기반 가상 공간 전사체학을 만나보세요. 코드
- [2026년 05월] 저희가 기반으로 구축한 AESTETIK 모델은 Representation learning for multi-modal spatially resolved transcriptomics data에 발표되었으며, Bioinformatics (Oxford)에 게재되었습니다.
- [2026년 03월] DeepSpot을 구동하는 크로스 샘플 AESTETIK, 공간 전사체학 통합 모델은 ICLR 2026 Learning Meaningful Representations of Life에서 발표될 예정입니다.
변경 기록
- [2026년 1월] 2026년 스위스 베른에서 열리는 10x Genomics Single Cell & Spatial Discovery Symposium 초청 강연
- [2025년 12월] NeurIPS 2025 Multi-modal Foundation Models and Large Language Models for Life Sciences 워크숍(https://nips2025fm4ls.github.io/)에서 발표 (2025년 미국 샌디에이고)
- [2025년 10월] H&E 이미지로부터 Spot 수준 감독을 사용하여 가상 단일 세포 공간 전사체학(Spatial Transcriptomics) 예측: DeepSpot2Cell(https://www.biorxiv.org/content/10.1101/2025.09.23.678121v1)을 NeurIPS 2025 Imageomics에서 발표. 코드
- [2025년 9월] DeepSpot이 Eric and Wendy Schmidt Center의 기사 [
새로운 버전 (2025년 5월)
- 단일 세포(single-cell) 해상도에서의 공간 전사체학을 위한 DeepCell
- 새 튜토리얼
- 모듈 구조 변경
from deepspot.spot import DeepSpotfrom deepspot.cell import DeepCell
- Visium 및 Xenium 데이터 기반의 더 많은 DeepSpot 사전 학습 모델
- 8 TB의 예측 TCGA 공간 전사체학 데이터 - LUSC, LUAD, SKCM, KIRC(https://huggingface.co/datasets/nonchev/TCGA_digital_spatial_transcriptomics)
- 3780개 샘플
- 56,317,393개의 스팟(spots)
- 4가지 암 유형
H&E 이미지를 사용하여 공간 전사체학 데이터를 생성하고 싶으신가요?
H&E 이미지로부터 공간 전사체학을 예측하는 새로운 딥러닝 모델인 DeepSpot을 소개합니다. DeepSpot은 깊은 집합 신경망(deep-set neural network)을 활용하여 스팟(spots)을 서브스팟(sub-spots)의 가방(bags of sub-spots)으로 모델링하고, 다단계 조직 세부 정보와 공간적 맥락을 통합합니다. 이러한 통합은 강력하게 사전 학습된 H&E 모델에 의해 지원되어, H&E 이미지로부터 얻는 유전자 예측의 정확도와 세분성을 크게 향상시킵니다.
그림.: DeepSpot은 병리 기초 모델(pathology foundation models)과 공간 조직 맥락을 활용합니다.
DeepSpot 워크플로우: H&E 슬라이드는 먼저 스팟 하나하나에 해당하는 타일로 분할됩니다. 각 스팟에 대해, 국소적 형태를 포착하는 서브타일로 나누어 서브스팟의 가방을 생성하고, 전역적 맥락을 나타내는 이웃 스팟의 가방을 만듭니다. 사전 학습된 병리 모델이 타일 특징(tile features)을 추출하며, 이것이 모델에 입력됩니다. 연결된 표현(concatenated representations)은 이후 유전자 헤드 예측기(gene head predictor), $
ho_{gene}$로 전달되어 공간 유전자 발현을 예측합니다.
설정 (Setup)
git clone https://github.com/ratschlab/DeepSpot
cd DeepSpot
conda env create --file=environment.yaml
...
참고: 사용하시는 장비의 요구 사항에 따라 pyvips를 설치했는지 확인해 주십시오. conda를 통해 pyvips를 설치하는 것을 권장합니다:
conda install conda-forge::pyvips
jupyter 커널 설치
python -m ipykernel install --user --name deepspot --display-name "deepspot"
시작하기 (Getting Started)
DeepSpot을 Visium용으로, 또는 Xenium에 적응된 버전인 DeepCell로 사용하여 시작하려면 저희 노트북 컬렉션을 확인해 주세요. 간단한 예제들을 제공합니다.
DeepSpot (spot 해상도 공간 전사체학):
DeepCell (single-cell 해상도 공간 전사체학):
사전 학습된 DeepSpot 가중치 (Pretrained DeepSpot weights)
또한, 저희 논문에서 모델을 학습하는 과정에서 생성되었고, 예를 들어 TCGA 피부 흑색종 및 신장암 슬라이드의 공간 전사체학 데이터를 생성하는 데 사용된 DeepSpot의 사전 학습된 가중치를 제공합니다.
DeepSpot 가중치 다운로드 여기.
병리 기초 모델 (Pathology foundation models)
병리 기초 모델에 대한 가중치를 반드시 다운로드하고, 파일 경로 deepspot/utils/utils_image.py를 업데이트해 주세요. 다운로드하기 전에 특정 이용 약관에 동의해야 할 수도 있습니다.
- UNI weights https://huggingface.co/MahmoodLab/UNI
- Hoptimus0 weights https://huggingface.co/bioptimus/H-optimus-0
- Phikon weights https://huggingface.co/owkin/phikon
TCGA 공간 전사체학 데이터
3,780명의 흑색종 또는 신장암 환자로부터 얻은 5,600만 개 이상의 스팟(spots)을 포함하는 예측된 공간 전사체학 데이터를 공개합니다. 이 데이터는 여기에서 찾을 수 있습니다. 더 자세한 정보는 Hugging Face 데이터셋 카드에서 확인하십시오.
시작 방법?
pip install datasets
로깅(Logging)
from huggingface_hub import login, hf_hub_download, snapshot_download
import squidpy as sq
import pandas as pd
...
메타데이터 정보 불러오기
# 데이터셋 상세 정보 정의
repo_id = "nonchev/TCGA_digital_spatial_transcriptomics"
filename = "metadata_2025-01-11.csv" # 최신 파일을 확인하십시오
# 경로 생성
file_path = hf_hub_download(repo_id=repo_id, filename=filename, repo_type="dataset")
# 메타데이터 로드
...
dataset slide_type sample_id n_spots file_path
0 TCGA_SKCM FFPE TCGA-BF-AAP6-01Z-00-DX1.EFF1D6E1-CDBC-4401-A10... 5860 TCGA_SKCM/FFPE/TCGA-BF-AAP6-01Z-00-DX1.EFF1D6E...
1 TCGA_SKCM FFPE TCGA-FS-A1ZU-06Z-00-DX3.0C477EE6-C085-42BE-8BA... 2856 TCGA_SKCM/FFPE/TCGA-FS-A1ZU-06Z-00-DX3.0C477EE...
...
단일 TCGA 공간 전사체학 샘플 다운로드
local_dir = 'TCGA_data' # 필요한 폴더 경로로 변경하십시오
snapshot_download("nonchev/TCGA_digital_spatial_transcriptomics",
...
adata = sc.read_h5ad("path/to/h5ad.gz")
sq.pl.spatial_scatter(adata,
color=["SOX10", "CD37", "COL1A1", "predicted_label"],
...
전체 TCGA 디지털 공간 전사체학 데이터셋 다운로드
local_dir = 'TCGA_data' # 필요한 폴더 경로로 변경하십시오
# 참고: 전체 데이터셋은 약 7TB입니다.
...
참고: 조직 내 스팟과 배경을 구별하기 위해 평균 RGB 값이 200을 초과하는 타일(거의 흰색)은 폐기되었습니다. 추가적인 전처리 과정으로 잠재적인 이미지 아티팩트를 제거할 수 있습니다.
DeepSpot을 인용한 논문들
AI 자동 생성 콘텐츠
본 콘텐츠는 GitHub AI Research의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기