SPHERE-JEPA 확장: 하이퍼스피어(Hypersphere)를 위한 통계적 정규화 기법군

자기지도학습 (Self-Supervised Learning, SSL)에서 단위 하이퍼스피어 (unit hypersphere) 상에 균등 분포 (uniform distribution)를 명시적으로 강제함으로써 표현 붕괴 (representation collapse)를 방지하는 것은 효과적임이 입증되었습니다. 그러나 현재의 프레임워크들은 일반적으로 SIGReg (LeJEPA에서 사용됨) 및 SUSReg (SPHERE-JEPA에서 사용됨)와 같은 슬라이스 통계적 정규화 기법 (sliced statistical regularizers)에 의존하며, 이는 무작위 1D 방향을 따른 몬테카를로 샘플링 (Monte Carlo sampling)을 통해 이러한 연속적 목적 함수를 근사합니다. 이러한 확률성 (stochasticity)은 훈련 그래디언트 (training gradients)에 투영 분산 (projection variance)을 주입하여 최적화를 불안정하게 만들고 수렴을 방해합니다. 본 연구에서 우리는 먼저 이러한 무작위 투영을 분석적으로 적분해내는 것이 본질적으로 결정론적 최대 평균 편차 (Maximum Mean Discrepancy, MMD)를 산출하며, 이를 통해 슬라이스 방식의 분산을 우회할 수 있음을 보여줍니다. 이러한 등가성에 착안하여, 우리는 균등 분포를 강제하기 위해 구 (sphere) 상에서 직접 MMD, 커널 슈타인 편차 (Kernel Stein Discrepancy, KSD), 그리고 쿨백-라이블러 발산 (Kullback-Leibler (KL) divergence)을 위한 전차원 목적 함수 (full-dimensional objectives)를 공식화합니다. 공간적 편향 (spatial bias)을 방지하기 위해, 우리는 스펙트럼 이론 (spectral theory)을 통해 구축된 회전 불변 커널 (rotationally invariant kernels)을 이러한 테스트에 적용하며, 두 가지 표준적인 계열인 매끄러운 지수적 감쇠 (Heat) 필터와 엄격한 주파수 차단 (Bandlimited) 필터를 체계적으로 평가합니다. 실증적으로, 투영으로 유도된 노이즈를 제거함으로써 ImageNet 및 Galaxy10 데이터셋에서 확률적 슬라이스 정규화 기법보다 더 안정적인 최적화, 빠른 수렴, 그리고 일관된 성능 향상을 얻었습니다. 나아가, 우리는 통계적 테스트의 선택이 학습된 잠재 공간 (latent space)의 기하학적 구조를 결정한다는 것을 밝혀냈습니다: MMD와 KSD는 객체 중심 (object-centric) 도메인에 적합한 국소적 클러스터링 조직화를 선호하는 반면, 연속적인 KDE 기반의 KL 발산은 미세한 인스턴스 분리 (fine-grained instance separation)를 촉진하여 클러스터링되지 않은 절차적 텍스처 검색 (unclustered procedural texture retrieval)에서 가장 강력한 결과를 나타냅니다.