저계수 아키텍처를 위한 리만 경사 하강법 (Riemannian Gradient Descent)

우리는 현대적인 딥러닝 (Deep Learning) 응용 분야를 목표로, 계수 분해된 행렬 파라미터 (Rank-factored matrix parameters)를 위한 리만 최적화 (Riemannian optimization) 기법을 탐구합니다. 우리는 알고리즘 설계 공간에서 열 가지 지점을 조사합니다: 계수 $r$인 행렬을 위한 두 가지 기하학 (Geometries), 계수 $r$인 부분 등거리 사상 (Partial isometries)을 위한 세 가지 기하학, 그리고 요인 (Factors)이 블록 행 (Block-rows)과 블록 열 (Block-columns) 전체에 걸쳐 공유되는 이 다섯 가지의 블록 행렬 (Block-matrix) 변형들입니다. 우리는 우리의 방법을 소규모 언어 모델 (Small language models)의 멀티헤드 어텐션 (Multihead attention) 파라미터에 적용합니다. 학습률 (Learning rates)을 조정한 후에도, 우리의 방법이 AdamW 베이스라인 (Baseline)을 결정적으로 능가하지는 않았습니다. 우리의 구현체는 온라인에서 확인할 수 있습니다.