Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
공변량 변화와 종속적 관측치가 존재하는 환경에서 비모수 분위수 및 Huber 회귀를 위한 딥 신경망 추정기를 제안합니다. 제안된 SPDNN 추정기는 밀도 비율을 모르는 경우에도 2단계 사전 학습을 통해 효과적으로 작동하며, 다양한 시계열 모델에서 최적의 수렴 속도를 달성합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기공변량 변화 (Covariate shift)는 많은 실제 응용 분야에서 소스 (source) 및 타겟 (target) 관측치가 서로 다른 분포로부터 생성될 수 있기 때문에 자주 발생합니다. 이 경우, 소스 분포 하에서의 표준 지표는 적절하지 않습니다. 본 논문은 공변량 변화 (covariate shift) 및 종속적 관측치 (dependent observations) 환경에서 비모수 분위수 (quantile) 및 Huber 회귀를 위한 딥 신경망 (deep neural network) 추정기를 고려합니다. 우리는 독립 항등 분포 (i.i.d.) 관측치, $\phi$-mixing, strong mixing, 그리고 $\mathcal{C}$-mixing 프로세스를 포함한 많은 고전적 모델들이 만족하는 일반화된 Bernstein 유형의 부등식 (Bernstein-type inequality)을 다룹니다. 공변량 변화 (covariate shift) 현상을 수행하기 위해, 우리는 데이터의 소스 (source) 및 타겟 (target) 분포 간의 불일치 (discrepancy)를 고려하는 희소 패널티 딥 신경망 (sparse-penalized deep neural network, SPDNN) 추정기를 제안합니다. 밀도 비율 (density ratio, 공변량의 소스 및 타겟 분포 간의 비율)을 알 수 없는 경우, 2단계 사전 학습 (pre-training) 절차가 수행됩니다. 첫 번째 단계는 밀도 비율의 최소 제곱 (least squares) SPDNN 추정기를 구축하는 데 전념하며, 이는 두 번째 단계에서 회귀 함수 (regression function)의 사전 학습 재가중 (pre-training reweighted) SPDNN 추정기를 수행하는 데 사용됩니다. 분위수 (quantile) 및 Huber 회귀 모두에 대해, 제안된 SPDNN 추정기의 비점근적 오차 경계 (non-asymptotic error bounds)가 Hölder 매끄러운 함수 (Hölder smooth functions) 클래스 내에서 확립되었습니다. 이러한 추정기들은 i.i.d. 데이터뿐만 아니라 여러 고전적 시계열 모델로부터 (로그 인자를 제외하고) 미니맥스 최적 수렴 속도 (minimax optimal convergence rate)를 적응적으로 달성할 수 있습니다.