본문으로 건너뛰기

© 2026 Molayo

arXiv논문2026. 06. 25. 22:37

구형 블랙박스 최적화 도구(Spherical Black-Box Optimizers) 간의 가교 역할

요약

기울기 정보를 사용할 수 없는 환경에서 진화 전략(ES), 합의 기반 최적화(CBO), 적분을 통한 최적화(OVI)를 통합하는 새로운 이론적 프레임워크를 제안합니다. 적합도 집계와 합의 범위를 조절하여 성능과 강건성 사이의 트레이드오프를 제어하는 하이브리드 최적화 도구를 소개합니다.

핵심 포인트

  • ES, CBO, OVI 방법론을 공통 이론 프레임워크로 통합
  • 적합도 집계 및 합의 범위를 통한 하이브리드 최적화 도구 제안
  • ES-OVI 하이브리드로 평탄한 최솟값 선호도 및 강건성 제어 가능
  • CBO-OVI 하이브리드로 언어 모델 병합 작업에서 높은 효율성 입증
  • 표준 BBO 벤치마크 및 고차원 로코모션 작업에서 우수한 성능 검증

기울기(gradient) 정보를 사용할 수 없을 때, 블랙박스 최적화 (BBO) 방법론은 실질적인 대안을 제공합니다. 진화 전략 (ES), 합의 기반 최적화 (CBO), 적분을 통한 최적화 (OVI) 및 관련 방법론들이 각각 독립적으로 연구되어 왔으나, 이들 사이의 연결 고리는 여전히 충분히 탐구되지 않았습니다. 본 연구에서는 이러한 접근 방식들을 공통된 이론적 프레임워크 내에서 통합하며, 이들이 주로 두 가지 설계 선택 사항, 즉 적합도 집계 (fitness aggregation, 샤프니스 선호도 제어)와 합의 범위 (consensus scope, 모달리티 제어)에서 차이가 난다는 점을 밝혀냅니다. 이러한 통찰을 활용하여, 기존 방법론들 사이를 보간(interpolate)하는 하이브리드 최적화 도구들을 소개합니다. 당사의 ES-OVI 하이브리드는 평탄한 최솟값 (flat minima)에 대한 선호도를 명시적으로 제어할 수 있게 하여, 연속 제어 (continuous control) 작업에서 성능과 강건성 (robustness) 사이의 트레이드오프를 가능하게 합니다. 당사의 CBO-OVI 하이브리드는 매개변수 기반 (parametric) 방법의 고차원 효율성과 입자 기반 (particle-based) 접근 방식의 다중 모달 (multimodal) 능력을 결합하여, 제한된 평가 예산 하에서 언어 모델 병합 (language model merging) 작업에 대해 경쟁력 있는 결과를 달성합니다. 당사는 표준 BBO 벤치마크와 고차원 로코모션 (locomotion) 작업에서 당사의 방법론을 검증하였으며, 하이브리드 방법이 구성 알고리즘들보다 뛰어난 성능을 보일 수 있음을 입증하였습니다.

AI 자동 생성 콘텐츠

본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.

원문 바로가기
0

댓글

0