유한 표본 분포 이론 및 온라인 분위수 회귀를 위한 효율적인 대규모 추론

본 논문은 상수 학습률을 사용하는 확률적 부분 기울기 하강법(Stochastic SubGradient Descent, SSGD)을 이용하여 대규모 및 스트리밍 데이터에 대한 온라인 분위수 회귀를 연구합니다. 기존의 오프라인 분위수 회귀 추론 방식은 계산적으로나 메모리 측면에서 많은 자원을 요구합니다. 분위수 회귀의 온라인 추론에 관한 기존 연구들은 점근적(asymptotic) 보장만을 제공하며, 일반적으로 분포 이론을 위해 준지수형 꼬리 조건(sub-exponential tail conditions)을 필요로 합니다. 이러한 격차를 해소하기 위해, 우리는 유한 모멘트 가정 하에서 SSGD에 대한 소멸된 중심 극한 정리(quenched central limit theorem, CLT)와 유한 표본 가우시안 근사치를 증명하는 새로운 기법들을 도입합니다. 나아가, 상수 학습률을 사용하는 Ruppert-Polyak 평균화가 0이 아닌 편향(non-vanishing bias)을 가지며 모집단 목표 지점에서 CLT 중심화를 만족시키지 못함을 보여줍니다. 따라서 우리는 이 문제를 해결하기 위해 접미사 평균화(suffix averaging)를 제안하고, 이에 대한 유한 표본 가우시안 근사치를 확립합니다. 이러한 결과들을 바탕으로, 우리는 공분산 추정(covariance estimation)을 피하는 분위수 회귀에 대한 효율적인 온라인 추론 방법을 제공합니다. 수치 실험들은 우리의 방법이 바람직한 경험적 커버리지율과 다른 추론 방법들과 비교하여 경쟁력 있는 성능을 달성함을 보여줍니다. 또한, 우리는 이 접근 방식을 미국 임금 데이터(U.S. wage data)에 적용하여 그 실질적인 효과를 입증합니다.