편향을 줄이기 위한 결측치 증가: 결측 데이터가 있는 경우의 Richardson-SGD

확률적 경사 방법 (Stochastic gradient methods)은 현대의 대규모 학습에 핵심적이지만, 불완전한 공변량 (covariates)과 함께 사용할 때는 여전히 까다롭습니다. 선형 모델 (linear models)에서 보여지듯, 대체 (imputation) 방식이 일반적으로 체계적인 경사 편향 (gradient biases)을 유발하기 때문입니다. 본 연구에서는 모든 모수적 모델 (parametric models)이 다양한 대체 절차에 대해 유사한 경사 편향을 나타냄을 증명하며, 결측 비율 벡터 $p$에 대한 의존성을 $O(|p|)$를 주요 항으로 하여 정확히 규명합니다. 우리는 이러한 분석을 활용하여, 경사 편향의 정확한 표현식을 이용하는 Richardson 보간법 (Richardson extrapolation) 기반의 결측값이 있는 확률적 경사 하강법 (SGD)을 위한 간단한 편향 제거 (debiasing) 절차를 제안합니다. 핵심 아이디어는 '의도적으로 결측치를 추가하는 것'입니다. 이미 불완전한 관측치로부터, 더 높고 제어된 결측 수준에서 더 희소해진 (further-thinned) 버전을 생성하고, 결과로 나온 두 확률적 경사 (stochastic gradients)를 결합하여 주요 편향 항을 상쇄합니다. 우리는 여러 결측 시나리오 하에서 한 번의 Richardson 단계가 경사 편향을 $O(|p|)$에서 $O(|p|^2)$로 줄임을 증명합니다. 우리가 제안하는 방법은 계산 효율적이며, 모델 불가지론적 (model-agnostic)이고, 대체 후 확률적 경사를 계산할 수 있는 모든 모수적 손실 함수 (parametric loss)에 적용 가능합니다. 나아가, 결측 지표 (missing indicators)가 독립적일 때, 모집단 경사 편향 (population gradient bias)은 $p$에 대한 다선형 다항식 (multilinear polynomial)이며, 단일 좌표를 결측으로 선언함으로써 유도되는 모집단 경사 오차에만 의존합니다. 이 경우, 우리의 방법은 고차 항을 재귀적으로 상쇄하는 다단계 Richardson 절차로 일반화됩니다. 실증적으로, Richardson 편향 제거는 여러 일반화 선형 모델 (generalized linear models)에서 최적화 및 추정 성능을 향상시키며, MICE와 같이 널리 사용되는 대체 절차와 긍정적으로 결합됩니다. 이러한 결과는 다소 직관에 반할 수 있지만, 기존 결측 데이터에 제어된 결측치를 추가하는 것이 불완전한 데이터로부터의 확률적 학습을 더욱 정확하게 만들 수 있음을 시사합니다.