AR1-ZO: 고랭크 LoRA 미세 조정을 위한 위상 인식 랭크-1 제로차 쿼리 (Topology-Aware Rank-1

제로차 (Zeroth-order (ZO)) 최적화는 역전파 활성화 값 (backpropagation activations)을 저장하지 않고도 대규모 언어 모델 (Large Language Model (LLM))의 미세 조정 (fine-tuning)을 가능하게 하며, LoRA는 컴팩트한 학습 가능 어댑터 (trainable adapters)를 제공합니다. 이 둘을 결합하면 랭크 역설 (rank paradox)이 발생합니다. 즉, LoRA 랭크 (rank)를 높이면 어댑터 용량은 향య되지만, 표준적인 2점 제로차 (two-point ZO) 방식은 랭크에 의존하는 수의 좌표를 섭동 (perturb)하거나, 원자 단위 업데이트 (atomwise updates) 하에서는 유한 차분 신호 (finite-difference signal)를 관찰 불가능하게 만들 수 있습니다.

본 논문은 이러한 병목 현상이 외부 부분 공간 (external subspace)의 필요성보다는 측정-위상 (measurement-topology) 문제임을 보여줍니다. LoRA는 이미 일치하는 랭크-1 원자 (rank-1 atoms)로 분해되며, 각 원자는 $d_{\text{out}}+d_{\text{in}}$ 차원의 완전한 인자-좌표 블록 (factor-coordinate block)입니다. 단계당 하나의 원자를 쿼리 (querying)하면 저장된 어댑터 랭크 $r$을 유지하면서, 단일 쿼리 섭동 차원에서 $r$을 제거할 수 있습니다. 단순한 원자 단위 쿼리는 여전히 보정이 잘못되어 있습니다. 만약 이것이 표준적인 LoRA 스케일링 (scaling)인 $\alpha/r$을 상속받는다면, 활성 유한 차분 신호는 $1/r$로 줄어들고, 활성 유한 차분 신호 대 잡음비 (finite-difference signal-to-noise ratio (FD-SNR))는 $1/r^2$로 줄어들어, 고정된 잔차 평가 잡음 바닥 (residual evaluation-noise floor) 하에서 방향성 붕괴 (directional collapse)를 일으킵니다.

AR1-ZO는 교차하는 랭크-1 원자 쿼리와 위상 인식 스케일링 (topology-aware scaling) $\gamma=\alpha r$을 결합하여, 보조 기저 (auxiliary bases), 활성화 훅 (activation hooks), 곡률 추정치 (curvature estimates) 또는 추가적인 순전파 쿼리 (extra forward queries) 없이도 랭크 불변의 활성 신호를 복원합니다. 이론적으로는 원자 최소성 (atom minimality), 랭크 독립적인 활성 쿼리 차원 (rank-independent active query dimension), 방향성 붕괴 및 복원, 그리고 남은 랭크 의존성이 분할 상환된 커버리지 비용 (amortized coverage cost)임을 증명합니다. OPT 및 Qwen3 모델에 대한 실험을 통해 신호 메커니즘을 검증하였으며, AR1-ZO가 표준적인 2-순전파 쿼리 예산 (two-forward-pass query budget) 하에서 일치하는 예산을 가진 ZO 방법들 중 고랭크 LoRA를 효과적으로 만든다는 것을 보여줍니다.