Piecewise-Affine 함수 및 얕은 CNN 손실에 대한 정상성 테스트의 매개변수화 복잡도

요약

본 논문은 연속적인 Piecewise-Affine (PA) 함수의 특정 지점에서의 근사 1차 정상성 테스트의 매개변수화 복잡도를 연구한다. 이는 비평활 최적화(nonsmooth optimization) 분야에서 중요한 과제이며, PA 함수는 ReLU 기반 학습 손실의 국소 다면체 기하학을 모델링하는 표준 도구이다. 저자들은 기존 연구가 계산적으로 해결 불가능하다고 본 방향과 달리, 주변 차원 $d$를 매개변수로 사용하여 XP 알고리즘을 제시함으로써 실용적인 접근 방식을 제안한다.

핵심 포인트

• 연구 주제는 비평활 최적화(nonsmooth optimization)에서 PA 함수의 근사 1차 정상성 테스트의 매개변수화 복잡도 분석이다.
• PA 함수는 ReLU 기반 학습 손실이 가지는 국소 다면체 기하학을 포착하는 표준 모델로 사용된다.
• 기존 연구가 최악의 경우 계산적으로 해결 불가능하다고 본 문제에 대해, 주변 차원 $d$를 매개변수로 활용하여 실용적인 접근 방식을 제시한다.
• 본 논문에서는 이 문제를 해결하기 위한 XP 알고리즘을 제안한다.