AdaMeZO: LLM 튜닝용 메모리 유지 없이 Adam 스타일 제로스 오더 옵티마이저

LLM (Large Language Model) 의 Fine-tuning 은 다양한 전용 다운스트림 작업에 필수적이지만, 고전적인 Backpropagation 기반 Fine-tuning 방법은 상당한 GPU 메모리를 요구합니다. 이를 위해 최근 MeZO 라는 작업이 LLM 을 Fine-tune 하는데forward passes 만 의존하여 GPU 요구량을 크게 줄였으나, 손실 지형 (loss landscape) 에 무관함으로 인해 수렴 속도가 느려지는 단점이 있습니다. 표준 솔루션인 Adam 은 모델의 차원 이동에 낮은 곡률과 반대로 높은 곡률을 고려하며 1 차 및 2 차 모멘트를 추정하여 메모리에 저장함으로써 손실 지형을 탐색합니다. 그러나 Adam 을 직접 적용하면 MeZO 의 장점을 무효화하고 메모리 요구량을 3 배로 증가시킵니다. 이에 따라, 메모리에 모멘트를 유지하지 않고도 Adam 스타일 1 차 및 2 차 모멘트 추정을 활용하는 제로스 옵티마이저인 AdaMeZO 를 제안합니다. 우리는 AdaMeZO 의 이론적 분석을 제시하며, Extensive experiments(광범위한 실험) 를 통해 AdaMeZO 의 성능을 입증했습니다. 결과적으로 AdaMeZO 는 MeZO 보다 우수한 성능을 보이며 최대 $70%$ 적은 Forward passes 를 요구함을 보여줍니다. Trajectory visualizations (경로 시각화) 은 AdaMeZO 가 다양한 손실 지형에 적응할 수 있음을 확인합니다.