온라인 학습에서 효과적인 목표 이동(Effective Target Shift) 특성화 및 교정

데이터 스트림으로부터의 온라인 학습은 지능의 특징적인 요소이지만, 현대 기계 학습 시스템은 특히 분포 변화(distributional shift) 하에서 이 환경에 어려움을 겪는 경우가 많습니다. 그 기본 속성을 이해하기 위해, 우리는 커널 회귀(kernel regression)의 맥락에서 온라인 학습과 오프라인 학습 간의 관계를 연구합니다. 우리는 온라인 커널 회귀가 학습하는 함수에 대한 폐쇄형 표현식(closed-form expression)을 도출하고, 온라인 커널 회귀가 이동되고 부정확한 목표 출력(target outputs)을 가진 오프라인 회귀와 동등하다는 것을 밝혀냅니다. 반대로, 우리는 목표 교정(target correction)을 통해 가르치는 신호(teaching signal)의 이러한 효과적인 이동을 보상함으로써, 온라인 커널 기반 학습이 오프라인 대응물과 동일한 예측기(predictor)를 증명 가능하게 학습할 수 있음을 보여줍니다. 우리는 이 목표 교정에 대한 폐쇄형 표현식과 순차적으로 적용될 수 있는 반복적 형태를 모두 도출합니다. 이 프레임워크를 CIFAR-10 및 CORe50의 이미지 분류 작업에 적용하여, 반복적으로 교정된 목표를 사용하는 온라인 확률적 경사 하강법(online stochastic gradient descent)이 지속 학습 환경에서 실제 목표를 사용하여 학습하는 것보다 우수함을 보여줍니다. 따라서 본 연구는 비정상 상태 환경(non-stationary environments)에서 온라인 학습을 분석하고 개선하기 위한 기본적인 프레임워크를 제공합니다.