편향을 줄이기 위한 결측치 증가: 결측 데이터가 있는 경우의 Richardson-SGD

요약

본 연구는 결측 데이터가 포함된 데이터셋에서 기존의 대체(imputation) 방식이 유발하는 체계적인 경사 편향 문제를 다룹니다. 연구진은 Richardson 보간법을 활용하여 의도적으로 결측치를 추가함으로써 경사 편향을 $O(\|p\|)$에서 $O(\|p\|^2)$로 줄이는 새로운 SGD 편향 제거 절차를 제안합니다. 이 방법은 모델 불가지론적이며 계산 효율적이고, 다양한 모수적 손실 함수에 적용 가능함을 입증했습니다.

핵심 포인트

• 결측 데이터 대체 방식은 모든 모수적 모델에서 유사한 형태의 체계적인 경사 편향을 유발함
• Richardson 보간법을 기반으로 결측치를 의도적으로 추가하여 주요 편향 항을 상쇄하는 방식 제안
• 제안된 방법은 경사 편향의 차수를 $O(\|p\|)$에서 $O(\|p\|^2)$로 낮추어 최적화 성능을 향상시킴
• 모델 불가지론적(model-agnostic) 특성을 가져 다양한 손실 함수에 적용 가능하며 계산 효율성이 높음
• 결측 지표가 독립적일 경우 다단계 Richardson 절차를 통해 고차 항까지 재귀적으로 제거 가능