훈련 인지형 조건부 확산 모델(Conditional Diffusion Models)을 통한 베이지안 최적화(Bayesian

베이지안 최적화 (Bayesian optimization, BO)는 가우시안 프로세스 (Gaussian process, GP)를 대리 모델 (surrogate)로 사용하고 획득 함수 (acquisition function)를 통해 순차적 평가를 안내하여, 최종적으로 전역 최적해 $\mathbf{x}^{\star}$를 찾는 것을 목표로 하는 블랙박스 최적화 (black-box optimization) 분야에서 널리 사용되는 접근 방식입니다. 이러한 목표에 부합하기 위해, 예측 엔트로피 탐색 (Predictive Entropy Search, PES)과 같은 정보 기반 획득 함수는 $\mathbf{x}^{\star}$를 확률 변수로 모델링하고 그 분포의 엔트로피를 줄이려 시도하지만, 전통적인 GP 사후 샘플링 (posterior sampling)을 통해 이 분포를 근사하는 것은 계산 비용이 많이 듭니다. 이러한 한계를 해결하기 위해, 우리는 조건부 확산 모델 (Conditional Diffusion Models, CDMs)을 활용하여 $\mathbf{x}^{\star}$의 분포를 효율적으로 근사하고, CDM을 위한 BO 내재적 훈련 전략을 개발합니다. CDM이 학습한 분포의 구조적 특성에 착안하여, 우리는 순차적 평가를 안내하기 위한 확산 기반 모드 탐색 (Diffusion-based Mode Seeking, DMS)이라 명명된 획득 전략을 추가로 개발합니다. 우리는 CDM이 학습한 분포에 대한 하위 최적성 보장 (sub-optimality guarantee)을 확립하였으며, 광범위한 실험을 통해 DMS가 표준 BO 베이스라인보다 우수한 성능을 보임을 입증합니다.