최근 언어 모델(LLM) 연구에서 흥미로운 발견이 있었습니다

요약

본 논문은 다양한 언어 모델(Language Model)들이 자연어 텍스트를 통해 숫자를 주기적인 특징(periodic features)으로 학습한다는 것을 보여줍니다. 특히, Transformer, RNN, LSTM 등 여러 아키텍처가 푸리에 영역(Fourier domain)에서 특정 주기를 가진 스파이크 형태의 특징을 습득하는 공통점을 발견했습니다. 더 나아가, 모델이 단순한 주기성을 넘어 실제로 $ ext{mod-}T$로 기하학적으로 분리 가능한(geometrically separable) 특징을 학습하기 위해서는 데이터,

핵심 포인트

• 다양한 LLM 아키텍처는 자연어 처리 과정에서 숫자를 공통적인 주기적 패턴으로 인코딩한다.
• 단순히 푸리에 영역에 스파이크가 나타나는 것만으로는 $ ext{mod-}T$ 기하학적 분리가 보장되지 않는다.
• 모델이 수리적으로 유용한 특징을 학습하는 방식은 데이터(co-occurrence) 또는 다중 토큰 연산 문제 해결 등 여러 경로를 거친다.
• 이는 다양한 모델들이 각기 다른 훈련 신호로부터 유사한 핵심 기능을 습득하는 '수렴적 진화 (Convergent Evolution)' 현상을 보여준다.