균질 및 이질 비동기 최적화 간의 격차를 해소하는 것은 놀라울 정도로 어렵다

요약

본 연구는 대규모 머신러닝 작업에서 발생하는 균질 및 이질 비동기 최적화 간의 이론적 격차를 다룹니다. 기존 알고리즘으로는 개선이 불가능함을 보였으며, 강한 보간 가정과 국소 Polyak-Lojasiewicz 조건을 결합하여 새로운 시간 복잡도 경계를 제시했습니다.

핵심 포인트

• 균질/이질 비동기 최적화 간의 이론적 격차가 존재함.
• 단순 유사성 또는 보간 가정만으로는 개선 증명이 불가능함을 입증.
• 강한 보간 및 국소 Polyak-Lojasiewicz 조건 조합을 사용.
• 균질 설정의 최적 결과에 근접하는 새로운 시간 복잡도 경계를 도출.