비볼록 이층 최적화 (Nonconvex Bi-Level Optimization)를 위한 합의 기반 입자 방법 (Consensus-Based

본 논문에서는 하위 수준 문제 (lower-level problem)의 전역 최솟값 집합 위에서 상위 수준 함수 (upper-level function)를 최소화하는 것을 목표로 하는 비볼록 이층 최적화 (nonconvex bi-level optimization)를 위한 합의 기반 최적화 방법 (consensus-based optimization method)을 연구합니다. 제안된 접근 방식은 미분 불필요 (derivative-free) 방식이며, Gibbs 유형의 Laplace 근사 (Laplace approximation)와 결합된 매끄러운 분위수 선택 (smooth quantile selection)을 통해 합의점 (consensus point)을 구축합니다. 우리는 관련된 평균장 (mean-field) 역학 및 유한 입자 (finite-particle) 근사 모두에 대한 수렴 보장을 확립합니다. 특히, 매끄러운 분위수 국소화 (smooth quantile localization), 오차 범위 (error bounds) 및 안정성 (stability)에 대한 적절한 가정 하에, 평균장 법칙 (mean-field law)이 도달 시간 (hitting time)까지 명시적인 지수 속도 (exponential rate)로 목표 이층 솔루션 (bi-level solution)의 임의로 지정된 Wasserstein 근방 (Wasserstein neighborhood)에 도달함을 보여줍니다. 2차원 제약 조건 문제 (two-dimensional constrained problem) 및 신경망 (neural network) 학습에 대한 수치 실험은 이러한 이론적 결과를 추가로 뒷받침합니다.