Perplexity를 넘어: 저차원 사전 학습(Low-Rank Pre-Training)에 대한 기하학적 및 스펙트럼 연구

요약

본 연구는 대규모 언어 모델(LLM)의 메모리 효율성을 높이는 저차원 사전 학습(Low-rank pre-training) 방법론들이 전체 랭크 학습과 비교하여 어떤 근본적인 차이를 가지는지 기하학적 및 스펙트럼 관점에서 심층 분석합니다. 기존 연구가 퍼플렉시티 같은 단일 지표에 의존했던 한계를 넘어, 다양한 모델 규모와 다섯 가지 저차원 방법론을 네 가지 차원의 16가지 지표로 평가했습니다. 그 결과, 저차원 방법론들은 검증 퍼플렉시티가 유사하더라도 전체 랭크 학습과 동일한 솔루션을 찾지 않으며, 각기 기하학적으로 구별되는 분지로 수렴함을 입증했습니다.

핵심 포인트

• 저차원 사전 학습은 메모리 효율성을 제공하지만, 그로 인해 모델이 찾는 최적의 솔루션(분지)이 전체 랭크 학습과 근본적으로 다를 수 있다.
• 단순한 검증 퍼플렉시티는 모델 성능을 나타내는 불충분한 대리 지표이며, 손실 경관 및 내부 표현 분석이 필수적이다.
• 저차원 방법론들은 각기 고유하고 기하학적으로 구별되는 분지(basin)로 수렴하며, 이 특성은 활성화 유사성이나 스펙트럼 구조 등의 다차원 지표를 통해 포착되어야 한다.
• 전체 랭크 학습은 무작위 방향에서는 저차원 방법론보다 더 날카로운 분지에 안착하는 경향을 보이지만, Top-1 PCA 방향에서는 그 반대의 현상이 나타난다.