잠재 공간(Latent Space) 내 이미지의 변환 동작

조직병리학(histopathology) 분류 작업을 위한 신경망 학습은 일반적으로 복잡성을 줄이고 성능을 향상시키는 잠재 공간(latent space)으로의 데이터 인코딩에 의존합니다. ImageNET과 같은 일반 이미지 데이터셋으로 사전 학습(pretrained)되었거나, 조직병리학 이미지에 특화된 여러 인코더 네트워크(encoder networks)를 사용할 수 있습니다. 인코더 네트워크의 학습은 다운스트림 태스크(downstream tasks)에 맞춰 조정되어야 하며, 이를 통해 생물학적/진단적 콘텐츠를 인코딩하는 동시에 레이블과 무관한 변환(transformations)에 대해 네트워크가 불변성(invariant)을 갖도록 해야 합니다. 본 논문은 Lunit Inc.와 Bioptimus(둘 다 병리 이미지에 집중함), 그리고 Meta Research Team이 제공하는 네트워크를 사용하여 고전적인 이미지 변환이 잠재 공간에 미치는 영향을 조사합니다. 우리는 대장 조직 데이터셋에서 사용 가능한 헤마톡실린/에오신(hematoxylin/eosin) 염색 절편 이미지 타일과 공개적으로 접근 가능한 TCGA 데이터셋을 사용하여, 원본 이미지 임베딩(embeddings)과 변환된 이미지 임베딩을 비교하고 이를 무작위의 관련 없는 임베딩과 대조함으로써 표준 데이터 변환으로 인해 발생하는 임베딩의 분산을 평가합니다. 연구 결과, 원본 이미지와 변환된 이미지의 임베딩은 무작위 임베딩보다 서로 더 가깝게 나타났으며, 이는 변환에 대한 강건성(robustness)을 나타냅니다. 그러나 이들이 완전히 불변(invariant)한 것은 아니며, 이는 인코더 네트워크가 잠재 공간 내에서 변환 효과를 완전히 중립화하지 못함을 보여줍니다. 이는 왜 변환을 매개로 한 데이터셋 증강(augmentation)이 성능을 향상시킬 수 있는지를 설명해 줍니다. 일반적인 인코더 네트워크와 조직병리학 특화 인코더 네트워크 사이에는 유의미한 차이가 관찰되었습니다.