Pion: 직교 동등 변환 (Orthogonal Equivalence Transformation)을 통한 스펙트럼 보존 옵티마이저

요약

Pion은 직교 동등 변환(Orthogonal Equivalence Transformation)에 기반한 스펙트럼 보존 옵티마이저로, LLM 학습의 효율성을 높이기 위해 설계되었습니다. 기존 가산적 옵티마이저와 달리, Pion은 좌우 직교 변환을 통해 각 가중치 행렬의 특이값과 스펙트럼 노름을 유지하면서 최적화를 수행합니다. 이 메커니즘은 LLM 사전 학습 및 미세 조정 과정에서 안정적이고 경쟁력 있는 성능을 보여줍니다.

핵심 포인트

• Pion은 직교 동등 변환(Orthogonal Equivalence Transformation)을 활용하여 스펙트럼 보존 옵티마이저를 구현했습니다.
• 기존 가산적 옵티마이저와 달리, Pion은 좌우 직교 변환으로 가중치 행렬의 특이값과 스펙트럼 노름을 유지합니다.
• 이는 가중치 행렬의 기하학적 구조를 보존하며 최적화를 수행하는 독특한 메커니즘입니다.
• 실험적으로 LLM 사전 학습 및 미세 조정 모두에서 표준 옵티마이저 대비 안정적인 성능을 입증했습니다.