Decoupled Descent: Approximate Message Passing 를 통한 정확한 테스트 오차 추적

현대 파라메트릭 모델 훈련에서 풀 배치 그래디언트 디센트 (full-batch gradient descent) 와 그 변형들은 훈련 데이터의 실제 실현 (exact realization) 에 대한 편향 (bias) 이 점차 강해짐으로써 고통받습니다. 이는 훈련 오차가 테스트 오차의 신뢰할 수 있는 대용이 (proxy) 가 되지 않는 체계적인 일반화 격차'' (generalization gap) 를 유발합니다. 기존 접근법들은 복잡한 분석을 통해 이 격차가 유해하지 않다고 주장하거나, 검증 세트 (validation set) 에 데이터를 희생시킵니다. 반면, 우리는 스타일라이즈드 가우시안 혼합 모델 (stylized Gaussian mixture models) 에서 훈련 오차가 테스트 오차에 점근적으로 추적하도록 강제하는 훈련-테스트 항등식'' (train-test identity) 을 만족하는 새로운 이론 기반 훈련 알고리즘인 디커플드 디센트 (DD, Decoupled Descent) 를 소개합니다. 이 특정 영역 내에서 DD 는 근사 메시지 전달 (Approximate Message Passing, AMP) 이론을 활용하여 데이터 재사용으로 인한 편향을 반복적으로 상쇄하며, 영비용 검증 (zero-cost validation) 과 100% 데이터 활용의 실현 가능성을 엄밀하게 입증합니다. 또한, DD 는 저차원 상태 진화 (state evolution) 재귀에 의해 지배되어 알고리즘의 동역학이 투명하고 처리 가능하게 만듭니다. 우리는 XOR 분류에서 DD 를 검증하여 GD 보다 우수한 성능을 얻었으며, 추가로 노이즈가 포함된 MNIST 와 CIFAR-10 의 비선형 탐지 (non-linear probing) 를 구현하여, 우리의 스타일라이즈드 가정이 완화되더라도 DD 가 GD 에 비해 일반화 격차를 줄인다는 것을 입증했습니다.