현미경으로 들여다본 데이터 매니폴드 (The Data Manifold under the Microscope)

딥러닝(deep learning)의 이론과 실제 사이에는 상당한 격차가 존재합니다. 일반화(Generalization) 및 근사 오차(approximation error) 경계는 종종 단순화된 모델을 위해 도출되거나, 정보를 제공하기에는 너무 느슨합니다. 많은 연구가 매니폴드 가설(manifold hypothesis)과 고유 차원(intrinsic dimension), 곡률(curvature), 도달 거리(reach)와 같은 기하학적 규칙성(geometric regularity)에 의존합니다. 발전을 위해서는 데이터 매니폴드(data-manifold) 기하학에 대한 통찰과 적절한 벤치마크(benchmark)가 필요하지만, 기존의 옵션들은 양극화되어 있습니다. 즉, 기하학적 구조는 알려져 있으나 적용 가능성이 제한적인 해석적 매니폴드(analytic manifolds)이거나, 기하학적 구조를 대략적으로만 추정할 수 있는 실제 세계의 데이터셋(real-world datasets)뿐입니다. 우리는 데이터 기하학을 연구하기 위한 벤치마킹 프레임워크(benchmarking framework)를 소개합니다. 우리는 dSprites와 COIL-20을 추가적인 변환 차원(transformation dimensions)과 조밀한 축 정렬 샘플링(axis-aligned sampling)을 통해 재구성 및 확장하였으며, 이를 범용 추정기(general-purpose estimators)가 신뢰할 수 없거나 배포하기 어려운 영역에서도 근사 정답(near-ground-truth) 수준의 정확도로 곡률(curvature), 도달 거리(reach), 부피(volume)를 복원하는 유한 차분 추정기(finite-difference estimators)와 결합했습니다. 이 프레임워크는 통제된 테스트베드(testbed)로 설계되었으며, 기하학적 추정기(geometric estimators)를 위한 교정 환경(calibration environment) 및 이론적 가설을 조사하기 위한 샌드박스(sandbox)로 유용하게 사용될 수 있습니다. 사용 사례를 보여주기 위해, 우리는 두 가지 응용 연구를 제시합니다. 즉, Genovese et al. 및 Fefferman et al.의 경계(bounds)에 대한 스케일링 동작(scaling behavior)을 평가하는 것과, $\beta$-VAE의 계층별 기하학(layer-wise geometry)을 추적하는 것입니다. 이를 통해 현재 경계들의 동작과 미래의 이론을 가이드하고 검증하기 위한 통제된 벤치마크의 가치를 강조합니다. 참조 구현은 https://github.com/koulakis/manifold-microscope 에서 확인할 수 있습니다.