Conditional KRR: 커널 방법론에 페널티가 없는 특징을 주입하는 커널 임계값 처리 응용 연구

조건부 양의 정부호 (Conditionally positive definite, CPD) 커널은 함수 클래스 $\mathcal{F}$에 대해 정의됩니다. 이러한 커널 $K$가 (RKHS와 유사하게 정의되는) 고유 공간 (native space)과 연관되어 있다는 것은 잘 알려진 사실이며, 이는 다시 KRR과의 유사성으로 인해 조건부 커널 리지 회귀 (conditional kernel ridge regression, conditional KRR)라고 불리는 학습 방법론을 탄생시킵니다. 이 방법론에서 추정된 회귀 함수는 고유 공간 노름 (native space norm)의 제곱에 의해 페널티를 받습니다. 이 방법은 $\mathcal{F}$에 의해 지정된 특징을 가진 고전적 선형 회귀를 수행한 후, 타겟 변수의 잔차 (residual, 설명되지 않은) 성분에 표준 KRR을 적용하는 것으로 간주될 수 있기 때문에 흥미로운 연구 대상입니다. 이러한 유형의 방법론은 최근 점점 더 많은 관심을 받고 있습니다. 본 연구에서는 이 방법의 동작을 잔차 커널 (residual kernel)이라고 불리는 다른 고정된 커널을 사용하는 KRR의 동작으로 환원함으로써 이 방법의 통계적 특성을 연구합니다. 우리의 주요 이론적 결과는 이러한 환원이 실제로 가능하다는 것을 보여주며, 그 대가로 기대 테스트 리스크 (expected test risk)에 $\mathcal{O}(1/\sqrt{N})$으로 유계되는 추가 항이 발생합니다 (여기서 $N$은 샘플 크기이며, 숨겨진 상수는 클래스 $\mathcal{F}$와 입력 분포에 따라 달라집니다). 이러한 환원을 통해 우리는 $K$가 양의 정부호이고 $\mathcal{F}$가 $K$의 Mercer 분해 (Mercer decomposition)에서 처음 $k$개의 주 고유 함수 (principal eigenfunctions)로 주어지는 경우의 conditional KRR을 분석할 수 있습니다. 또한 $\mathcal{F}$가 $K$의 랜덤 특징 표현 (random feature representation)으로부터 추출된 $k$개의 랜덤 특징 (random features)으로 구성되는 설정도 고려합니다. 이 두 설정은 서로 밀접하게 연관되어 있음이 밝혀졌습니다. 우리의 이론적 분석과 실험 모두, 회귀 함수의 $\mathcal{F}$-성분이 잔차 부분보다 더 두드러지는 경우에 conditional KRR이 표준 KRR보다 성능이 우수함을 확인시켜 줍니다.