우리는 메모리 제약이 있는 대규모 언어 모델 (LLM) 의 미세 조정 (fine-tuning) 에 대해 적응형 제로차 (ZO) 최적화의 효과를 조사합니다. 기존 주장과 달리, 우리는 ZO-Adam 과 같은 적응형 ZO 방법이 잘 튜닝된 ZO-SGD 보다 수렴에 대한 이점이 없음을 보여주며, 동시에 상당한 메모리 오버헤드를 초래함을 보여줍니다. 우리의 분석은 고차원 (high dimensions) 에서 ZO 경사도는 좌표별 불균질성 (coordinate-wise heterogeneity) 을 결여하여 적응형 메커니즘이 메모리 비효율적임을 드러냅니다. 이 통찰을 바탕으로, 전역 스텝 크기 적응에 단일 스칼라만 추적하는 메모리 효율적 적응형 ZO 최적화기인 MEAZO 를 제안합니다. 우리는 표준 가정 하에서 이론적 수렴 보장 (theoretical convergence guarantees) 을 제시하여 본 방법을 지원합니다. 여러 LLM 계열과 작업에 걸친 실험은 MEAZO 가 ZO-Adam 의 성능을 유지하면서 ZO-SGD 의 메모리 발자국을 가진다는 것을 보여줍니다. 합성 이차 함수 문제와 LLM 미세 조정에 대한 추가 실험은, 특히 그룹화 또는 블록 구조화된 최적화 설정에서 스텝 크기 선택에 대한 MEAZO 의 향상된 견고성을 입증합니다.