후회 최적 Wasserstein 기반 강건 선형 회귀

원문 발행 2026. 10. 31. 02:47원문 언어 영어AI 한국어 번역arXiv cs.LG 원문 보기

요약

본 논문은 분포 불확실성 하의 강건 선형 회귀 문제를 다루며, DRO가 항상 최적이 아님을 증명합니다. 연구진은 Minimax Regret Optimization(MRO)와 Spectral-Norm Regularization(SNR)이라는 두 가지 대안적 절차를 제시했습니다. 이들은 MRO의 볼록 재정식화 및 SNR 알고리즘을 도출하여, 높은 확률의 유한 표본 보장을 제공합니다.

핵심 포인트

DRO는 초과 위험 측면에서 최적이 아닐 수 있으며, 실패 모드가 식별됨.
문제의 점근적 복잡도는 조건수 $\kappa$로 특징지어지는 $O(\kappa\varepsilon^2)$를 따름.
MRO와 SNR은 minimax 비율을 달성하는 대안적인 강건 최적화 절차임.
MRO는 정확한 볼록 재정식화를, SNR은 가속 근접 알고리즘을 도출함.

분포적으로 강건한 최적화(Distributionally robust optimization, DRO)는 분포 불확실성 하에서 최악의 경우 위험을 최소화하지만, 그 결정은 초과 위험(excess risk) 또는 후회(regret) 측면에서 최적이 아닐 수 있다. 우리는 관측된 소스 법칙(source law)과 알려지지 않은 타겟 법칙(target law)이 크기 $\varepsilon$의 적대적 2-Wasserstein 교란(adversarial 2-Wasserstein perturbation)으로 다르다고 가정하고, 다변량 최소 제곱 회귀(multivariate least-squares regression)에 대한 이 격차를 연구한다. 먼저 우리는 $\varepsilon \to 0$ 극한에서의 강건한 의사 결정의 점근적 복잡도(asymptotic complexity)를 식별하며, 이는 문제별 조건수(problem-specific condition number) $\kappa$로 특징지어진다. 여기서 DRO를 포함하여 광범위한 단순 알고리즘들이 $O(\kappa\varepsilon^2)$라는 인스턴스 최적률을 달성한다. 고정된 $\varepsilon > 0$에 대해, 우리는 문제가 유한한 잔여 유효 계수(bounded residual effective rank)를 가질 경우 DRO가 여전히 minimax 비율을 달성함을 증명한다. 반면에, 우리는 DRO가 차원 의존적 인자들에 의해 명백하게 최적이 아닌 것으로 증명되는 중요한 실패 모드들을 식별한다. 다행히도, 우리는 두 가지 대안적인 절차인 minimax 후회 최적화(minimax regret optimization, MRO)와 스펙트럼 노름 정규화(spectral-norm regularization, SNR)가 minimax 비율을 달성함을 증명한다. 우리는 MRO의 정확한 볼록 재정식화(exact convex reformulation)와 SNR을 위한 가속 근접 알고리즘(accelerated proximal algorithm)을 도출하고, 높은 확률의 유한 표본 보장(high-probability finite-sample guarantees)과 함께 제시한다. 우리는 이러한 이론적 결과를 MRO와 SNR의 성능이 DRO와 분리되는 수치 실험으로 뒷받침한다.

AI 자동 생성 콘텐츠

원문 바로가기

후회 최적 Wasserstein 기반 강건 선형 회귀

요약

핵심 포인트

댓글