로컬 스코어 모델은 언제 크기 간 외삽(Extrapolation)이 가능한가? 진단 이론 및 벤치마크

과학적 생성 모델링 (Scientific generative modeling)은 종종 작은 시스템에서 학습된 모델을 더 큰 시스템에서 평가하는 크기 전이 (size transfer)를 필요로 합니다. 변환 불변 (translation-invariant) 아키텍처는 이러한 평가를 가능하게 하지만, 본 연구에서는 아키텍처의 국소성 (locality)만으로는 안정적인 크기 외삽 (size extrapolation)을 보장할 수 없음을 보여줍니다. 대신, 안정적인 외삽은 가우시안 평활화된 스코어 (Gaussian-smoothed score)의 준국소성 (quasi-locality)에 의해 결정됩니다. Tweedie의 공식 (Tweedie's formula)을 통해, 멀리 떨어진 섭동 (perturbations)이 사후 공분산 (posterior covariance)을 통해 로컬 스코어 성분에 영향을 미칠 수 있음을 알 수 있으며, 이는 로컬 모델의 수용 영역 (receptive field)이 평활화된 스코어의 응답 범위를 커버할 때만 성공할 수 있음을 의미합니다. 우리는 이 메커니즘을 공식화하여, 역확산 (reverse diffusion) 하에서 로컬 주변 확률 분포 (local marginals)에 대한 크기 균일 비교 정리 (size-uniform comparison theorem)를 증명합니다. 또한 우리는 정확한 스코어 (scores), 밀도 (densities), 그리고 제어 가능한 응답 범위를 가진 화이트박스 진단 벤치마크인 유한 깊이 로컬 플로우 (Finite-Depth Local Flow, FDLF)를 소개합니다. 실험적으로, 우리는 공간적 혼합 (spatial mixing), 평활화된 스코어의 준국소성 (smoothed-score quasi-locality), 그리고 모델의 수용 영역 (receptive fields) 사이의 상호작용을 검증합니다. 공간적 혼합이 일어날 때, 평활화된 스코어는 수용 영역에 대해 준국소성 (quasi-local)을 유지하여 안정적인 외삽을 가능하게 합니다. 반대로, 공간적 혼합이 약해지면 스코어의 국소성 (locality)이 급격히 저하되어 크기 전이 (size transfer)가 실패하게 됩니다.