알려지지 않은 유효 차원을 가진 실용적 베이지안 최적화를 위한 자동화된 랜덤 임베딩

베이지안 최적화 (Bayesian optimization)는 복잡한 블랙박스 함수 (black-box functions)를 최적화하기 위해 널리 사용되지만, 차원의 저주 (curse of dimensionality) 문제로 어려움을 겪습니다. 차원 축소 전략으로서의 랜덤 임베딩 (Random embedding)은 저차원 부분 공간 (low-dimensional subspace) 내에서 최적화를 수행함으로써 유효 차원 (effective dimension)을 가진 작업들을 단순화합니다. 그러나 작업의 유효 차원을 사전에 결정하는 것은 여전히 큰 과제로 남아 있으며, 이는 부분 공간의 차원 선택과 최적화 성능에 영향을 미칩니다. 전통적인 방법들은 전문가가 제공하는 고정된 부분 공간 차원을 사용하거나, 자원을 소모하며 시행착오를 통해 부분 공간 차원을 추정하는 데 의존합니다. 이를 위해, 본 논문은 유효 차원이 알려지지 않은 고차원 베이지안 최적화를 위한 자동화된 랜덤 임베딩인 Dynamic Shared Embedding Bayesian Optimization (DSEBO)를 제안합니다. DSEBO는 낮은 차원에서 시작하여, 현재 부분 공간의 솔루션들이 예비 수렴 (preliminary convergence)을 보이면 더 높은 차원의 부분 공간으로 전환합니다. DSEBO는 서로 다른 부분 공간에서의 솔루션 품질을 기반으로 다음 부분 공간의 차원을 동적으로 결정하며, 더 나은 초기화 (initialization)를 위해 쿼리된 솔루션들을 새로운 부분 공간과 공유합니다. 이론적으로, 우리는 DSEBO에 대한 후회 한계 (regret bound)를 도출하였으며, DSEBO가 근사 오차 (approximation error)와 최적화 오차 (optimization error) 사이의 균형을 더 잘 맞출 수 있음을 입증합니다. 다양한 차원 크기를 가진 함수들과 유효 차원이 알려지지 않은 실제 작업들에 대한 광범위한 실험 결과, 최신 기술 (state-of-the-art) 방법들과 비교했을 때 서로 다른 부분 공간을 가로지르는 교차 최적화 (alternating optimization)가 최적화 후회 (optimization regret)와 시간 측면 모두에서 고차원 최적화의 상당한 개선을 가져온다는 것을 보여줍니다.