Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
인수분해된 모델에서 경사 하강법과 Adam의 저계수(low-rank) 솔루션 편향 차이를 게이지 대칭성 관점에서 분석합니다. Adam과 같은 좌표별 최적화 도구가 왜 저계수 복구에 한계를 보이는지 수학적 원인을 규명합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기인수분해된 모델(factored model) $W = UV^ op$에 대한 경사 하강법(Gradient descent)은 암묵적으로 저계수(low-rank) 솔루션에 편향되어 있는 반면, 동일한 작은 초기값에서 시작하는 Adam은 그렇지 않습니다. 우리는 그 차이의 원인을 손실 함수의 게이지 대칭성(gauge symmetry), 즉 $(U, V) \mapsto (UQ, VQ)$에 대한 불변성(invariance)에서 추적합니다. 경사 흐름(Gradient flow)의 저계수 메커니즘은 최적화 도구(optimizer)가 게이지 등변성(gauge-equivariant)을 가질 때만 사용할 수 있으며, 이 조건은 전이(transfer)를 위해 필요하지만 저계수 복구(low-rank recovery)를 위한 충분조건은 아닙니다. 경사 하강법(Gradient descent), 모멘텀(momentum), "공유 스칼라(shared-scalar)" Adam, Muon, 그리고 Shampoo는 이 조건을 만족합니다. 반면 Adam, RMSProp 및 기타 좌표별(coordinate-wise) 방식들은 이를 만족하지 않습니다. 구조 정리(structure theorem)는 메모리가 없는 등변 규칙(memoryless equivariant rules)을 정확히 Gram-결정적 좌측 전처리 조건부(Gram-determined left preconditioners)로 특징짓고, 전이 정리(transfer theorem)는 경사 흐름의 경로별 특성(pathwise properties)을 공통 스칼라 흐름(common-scalar flows)으로 전달합니다. 그런 다음 우리는 결정 불가능한 행렬 센싱(underdetermined matrix sensing)에 대한 9가지 업데이트 규칙을 심어진 참값(planted ground truth)에 대한 복구 오차(recovery error)를 기준으로 정렬합니다. 좌표별 방식에서 공유 스칼라 전처리 조건부로 이어지는 일변수 가족(one-parameter family)은 편향을 단조적으로 복구하며, 이방성(anisotropy)을 그 원인으로 분리해냅니다. "스펙트럼 스케줄(spectral schedule)"은 Muon에 대한 두 가지 상반된 보고를 화해시킵니다: 동일한 비율의 업데이트는 저계수 타겟을 정확하게 복구하지만, 스펙트럼 꼬리(spectral tail)가 커짐에 따라 그 우위를 잃습니다. 트랜스포머(transformers)에서 Adam은 첫 번째 단계에서 두 개의 게이지 등변 초기화(gauge-equivalent initializations)를 분리하며, 이때 등변 최적화 도구들은 부동 소수점 정밀도(float precision)를 유지합니다. 결과적으로 Adam은 각 헤드별 불변량(per-head invariants) $W_Q^ op W_K$를 상대적 프로베니우스 거리(relative Frobenius distance)에서 56% 차이가 나도록 끝맺으며, 이 격차는 어떠한 헤드별 회전(per-head rotation)으로도 메울 수 없습니다. 동일한 훈련 손실을 가진 두 개의 초분광(hyperspectral) 데이터셋에서, 경사 하강법은 가장 낮은 샘플링 밀도와 더 낮은 유효 계수(effective rank)에서 홀드아웃 오차(held-out error)를 43-44% 줄였습니다. 따라서 기저(basis)의 선택은 튜닝 세부 사항이 아니라, 최적화 도구가 어떤 보간물(interpolant)을 선택할지에 대한 결정입니다.