하위 레벨의 강한 볼록성(Strong Convexity)을 넘어서는 뉴턴 기반 이중 레벨 최적화 방법

요약

본 논문은 하이퍼파라미터 최적화 등 머신러닝에 사용되는 이중 레벨 최적화 문제를 다룹니다. 기존 방법의 한계를 극복하기 위해, 하위 레벨의 강한 볼록성 가정을 넘어서는 두 가지 새로운 뉴턴 기반 방법을 제안했습니다. 또한, 여러 기존 방법들을 포괄하는 일반화된 프레임워크도 제시하며 다양한 실험을 통해 그 성능을 입증했습니다.

핵심 포인트

• 하위 레벨의 강한 볼록성을 가정하지 않는 이중 레벨 최적화 기법 개발
• 뉴턴 기반 GALET 및 BAMM 등 새로운 방법론 제안
• 제안된 방법들은 기존 대비 수렴 보장과 개선된 복잡도 경계 확보
• 일반화된 뉴턴 기반 프레임워크(GNBO)를 통해 다양한 이중 레벨 학습 작업에 적용 가능