Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
기존 학습률 감소(LRD) 기법의 한계를 극복하기 위해 UTA LRD를 제안합니다. 이 방법은 폐쇄 루프 및 연속 시간 공식화를 통해 훈련 상태에 적응하는 새로운 방식을 제시합니다. LLM과 비전 모델 모두에서 일관된 성능 개선을 입증하며 실질적인 구현 가능성을 강조했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG (Machine Learning)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기학습률 감소(Learning rate decay, LRD)는 고성능 모델을 훈련하는 데 매우 중요하지만, 대부분의 설계는 경험적 주도에 머물러 있습니다. Universal Budget Aware (UBA) LRD가 이론적인 프레임워크를 제공하지만, SGD 동역학(SGD dynamics)에 의존하기 때문에 최신 Adam 유형 옵티마이저(Adam-type optimizers)에 대한 적용 가능성이 제한되며 핵심 '최적화 난이도 매개변수(optimization difficulty parameter)'가 불투명합니다. 이 간극을 메우기 위해, 우리는 Universal Training Adaptive (UTA) LRD를 제안합니다. UBA가 오직 반복 횟수에만 고정된 오프라인 궤적에 기반하는 것과 달리, UTA는 LRD를 폐쇄 루프(closed-loop) 형태 및 규모 문제로 다룹니다. 연속 시간 공식화(continuous-time formulation)를 통해 UTA는 세그먼트별 최적 형태를 갖춘 훈련 상태 적응형(training-state adaptive)입니다. 이러한 적응성은 외부 반복과 내부 훈련 상태를 연결하여, UBA를 포함한 다른 LRD로는 달성할 수 없는 진행 형태와 학습률(LR) 규모 모두에서 근사 최적 경로를 가능하게 합니다. 경험적으로, 우리는 플러그앤플레이 용이성과 무시할 만한 오버헤드로 언어 모델(LLaMA 60M부터 1B까지)과 비전 모델(ResNet50, ViT-B) 모두에서 ImageNet에 걸쳐 일관된 개선을 시연합니다. 광범위한 제거 연구(ablation studies)는 최고 LR, 최종 감소 비율, 매개변수 $\varphi_0$, 구성 요소 효능 및 미세 조정 시나리오로의 일반화 등 다양한 차원에서 UTA의 견고성을 추가로 확인하며, 이는 실질적인 구현 가능성을 강조합니다.