제로차 순화 (Zeroth-Order Optimization) 의 적응성 연구: 메모리 효율적 최적화기 제안

요약

본 논문은 메모리 제약이 있는 대규모 언어 모델(LLM)의 미세 조정 과정에서 적응형 제로차(ZO) 최적화 기법의 효율성을 연구했습니다. 기존 방식들이 주장하는 것과 달리, 저자들은 ZO-Adam 같은 적응형 방법이 수렴에 이점을 주지 않으면서도 메모리 오버헤드를 유발함을 입증했습니다. 이에 따라, 전역 스텝 크기 적응을 단일 스칼라로 추적하여 메모리 효율성을 극대화한 새로운 최적화기 MEAZO를 제안하고, 이론적 수렴 보장과 광범위한 실험을 통해 그 우수성을 검증했습니다.

핵심 포인트

• LLM 미세 조정 시 적응형 제로차(ZO) 최적화의 메모리 비효율성 문제를 지적함.
• 기존의 ZO-Adam 같은 적응형 방법은 수렴 이점 없이 상당한 메모리 오버헤드를 초래함을 분석적으로 증명함.
• MEAZO라는 새로운 최적화기를 제안하여, 전역 스텝 크기 적응을 단일 스칼라로 추적함으로써 메모리 효율성을 확보함.
• 제안된 MEAZO는 ZO-Adam의 성능과 ZO-SGD의 낮은 메모리 발자국을 동시에 달성함을 실험적으로 입증함.