주저에서 경쟁력까지: 입력-상태 안정성을 통한 ZO-FO 격차 폐쇄

요약

본 연구는 최적화 알고리즘을 동적 시스템 관점에서 분석하여, 제로 차(ZO) 알고리즘이 일 차(FO) 대응 알고리즘과 달리 반복 횟수에 대한 추가적인 의존성을 갖지 않음을 이론적으로 증명합니다. 특히 입력-상태 안정성(ISS) 특성을 활용함으로써, ZO 방법이 FO 방법과 동일한 감쇠율을 가지며 고정점 근처로 수렴함을 보였습니다. 이러한 결과는 최적화 알고리즘의 안정성과 효율성을 향상시키는 새로운 이론적 기반을 제공합니다.

핵심 포인트

• ZO 알고리즘은 반복 횟수에 대한 추가적인 의존성 없이 FO 알고리즘과 비교하여 수렴 속도 측면에서 우위를 가집니다.
• 최적화 알고리즘의 분석에 동적 시스템 이론(Dynamic System Theory)을 적용하고, 설계 매개변수 기반의 유한한 섭동 하에서의 평균 거동을 공식화했습니다.
• 입력-상태 안정성(ISS) 특성을 활용하여 ZO 방법이 FO 방법과 동일한 감쇠율로 고정점 근처에 수렴함을 이론적으로 입증했습니다.
• ZO 알고리즘의 성능은 섭동 노름에 의존하는 반경 내에서 제어 가능하며, 이 반경을 임의로 작게 만들 수 있습니다.