베이지안 최적화(Bayesian Optimization)를 위한 가우시안 프로세스(Gaussian Processes)의 목표 지향적 하위 꼬리

베이지안 최적화 (Bayesian optimization, BO)는 가우시안 프로세스 (Gaussian process, GP) 예측 분포를 사용하여 비용이 많이 드는 블랙박스 목적 함수 (black-box objectives)에 대한 평가 지점을 선택합니다. 커널 (Kernel) 선택 및 하이퍼파라미터 (hyperparameter) 선택은 예측 분포의 교정 오류 (miscalibrated predictive distributions)와 부적절한 탐색-활용 (exploration-exploitation) 트레이드오프를 초래할 수 있습니다. 최소화 문제의 경우, 기대 개선 (expected improvement, EI)과 같은 샘플링 기준은 현재 최적값보다 낮은 예측 분포에 의존하므로, 하위 꼬리 (lower-tail) 교정 오류는 샘플링 결정에 직접적인 영향을 미칩니다. 본 논문은 최대 가능도 (maximum likelihood)에 의해 선택된 하이퍼파라미터를 가진 표준 GP 모델에 대해, 노이즈가 없는 (noiseless) 설정에서 낮은 임계값 $t$ 미만의 GP 예측 분포에 대한 목표 지향적 교정 (goal-oriented calibration)을 연구합니다. 공간적 교정 (spatial calibration)의 두 가지 개념인 설계 공간 (design space)에 대한 발생 교정 (occurrence calibration)과 하위 수준 집합 (sublevel sets) 형태인 ${x\in\mathbb{X}, f(x)\le t}$에 대한 임계값 적용 $\mu$-교정 ($\mu$-calibration)을 기반으로 한 $t$ 미만에서의 예측 신뢰성 (predictive reliability) 프레임워크를 소개합니다. 이 프레임워크를 바탕으로, 우리는 $t$ 미만의 GP 예측 분포를 교정하는 사후 처리 (post-hoc) 방법인 tcGP를 제안하며, 그 결과로 도출된 EI 기반 전역 최적화 (global optimization) 알고리즘이 설계 공간에서 조밀함 (dense)을 유지함을 보여줍니다. 표준 벤치마크에 대한 실험을 통해 표준 GP 모델 및 전역 교정 (globally calibrated) GP 모델과 비교하여 개선된 하위 꼬리 교정 및 BO 성능을 입증합니다.