부스팅에서의 잔차 직교화를 통한 학습기 중복성 감소

순차적 잔차 피팅 (sequential residual fitting)은 표준 부스팅 (boosting) 프레임워크의 근간이지만, 상관관계가 있는 오차 성분들을 반복적으로 재방문함으로써 본질적으로 학습기 중복성 (learner redundancy)을 야기합니다. 이러한 병목 현상을 해결하기 위해, 우리는 잔차 피팅에서 잔차 직교화 (residual orthogonalization)로의 전환을 제안하며 SCBoost를 소개합니다. 우리의 프레임워크는 두 가지 상호 보완적인 메커니즘인 스펙트럼 잔차 투영 (Spectral Residual Projection, SRP)과 공분산 규제 가중치 부여 (Covariance-Regularized Weighting, CRW)를 통해 중복성을 해결합니다. 학습 과정에서 SRP는 각 잔차 타겟을 과거 예측 부공간 (orthogonal complement of the historical prediction subspace)으로 투영하여, 연속적인 학습기들이 오직 새로운 경험적 혁신 (empirical innovations)만을 포착하도록 강제합니다. 집계 (aggregation) 과정에서 CRW는 잔류 상관관계를 완화하기 위해 명시적인 공분산 페널티 (covariance penalty)를 사용하여 검증 세트에서의 앙상블 가중치를 최적화합니다. 이론적으로, 우리는 SRP가 정확한 가법적 잔차 에너지 분해 (additive residual-energy decomposition)를 생성함을 증명하는 유한 표본 기하학적 특성 (finite-sample geometric characterization)을 제공합니다. 또한, 등방성 노이즈 (isotropic-noise) 가정하에, 이 투영이 유효 신호 대 잡음비 (Signal-to-Noise Ratio, SNR)를 개선하는 조건을 엄밀하게 확립합니다. 10개의 벤치마크 데이터셋에 걸친 광범위한 실험은 SCBoost가 특히 정확도 (accuracy)와 F1 점수 (F1 score) 측면에서 강력한 즉각적 성능 (out-of-the-box performance)을 제공함을 입증합니다. 본 연구는 부스팅을 기하학적 관점에서 재해석하며, 명시적인 중복성 제어가 더 효율적인 앙상블 아키텍처를 향한 원칙적이고 필수적인 단계임을 시사합니다.