확률적 동시 낙관적 최적화
요약
본 논문은 노이즈에 의해 교란된 함수 $f$의 전역 최대화 문제를 다루며, 특히 함수의 전역 최대점 근처에서 국소적인 매끄러움이라는 매우 약한 가정만을 사용합니다. 제안하는 알고리즘인 StoSOO는 계층적 분할과 낙관적 전략을 사용하여 상부 신뢰 구간(UCB)을 반복적으로 구성하고 다음 샘플링 지점을 결정합니다. 이 방법은 함수의 국소 매끄러움에 대한 사전 지식이 없어도 기존의 최적화 알고리즘과 유사한 성능을 달성함을 이론적으로 입증했습니다.
핵심 포인트
- 노이즈가 포함된 함수 $f$의 전역 최대화 문제를 해결하는 데 초점을 맞춥니다.
- 함수에 대해 매우 약한 가정(전역 최대점 근처에서의 국소적 매끄러움)만을 요구합니다.
- StoSOO 알고리즘은 계층적 분할과 낙관적 전략을 결합하여 UCB를 구성하고 샘플링 지점을 결정합니다.
- 알고리즘의 성능 분석 결과, 함수의 국소 매끄러움에 대한 사전 지식이 없어도 높은 효율성을 유지함을 보였습니다.
우리는 유한한 수의 평가가 노이즈에 의해 교란된 함수 f 의 전역 최대화 문제를 연구합니다. 우리는 함수에 대해 매우 약한 가정을 고려하며, 이는 함수의 전역 최대점 중 하나 주위의 어떤 반거리 (semi-metric) 에 대해 국소적으로 매끄럽다 (어떤 정확한 의미에서) 는 것입니다. 일반적인 공간에서의 밴디트 작업에 대한 이전 연구들 (Kleinberg et al., 2008; Bubeck et al., 2011a) 과 비교하여, 우리의 알고리즘은 이 반거리의 지식을 요구하지 않습니다. 우리의 알고리즘 StoSOO 는 계층적 분할 (hierarchical partitions) 을 통해 함수 도메인 위에 상부 신뢰 구간 (upper confidence bounds) 을 반복적으로 구성하고 다음에 샘플링할 점을 결정하기 위해 낙관적 전략 (optimistic strategy) 을 따릅니다. StoSOO 의 유한 시간 분석은 함수의 국소 매끄러움이 알려져 있지 않음에도 불구하고, 특정 튜닝된 알고리즘과 거의 동일한 성능을 발휘함을 보여줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기