언어 모델 로짓의 기하학: 일반적인 구조와 학습된 편차

자기회귀 언어 모델(Autoregressive language models)은 매 예측 단계마다 어휘 크기만큼의 로짓 벡터를 생성하며, 이 벡터의 구조가 조건부 다음 토큰 분포를 결정합니다. 우리는 예측 컨텍스트, 아키텍처, 스케일에 걸쳐 순서화된 어휘 헤드 로짓이 $\text{z}_{(r)} \approx \mu - \alpha\log r$라는 놀라울 정도로 일관된 로그-선형 관계(log-linear relation)를 따른다는 것을 경험적으로 확인했습니다. 이는 사전 학습 과정에서 점진적으로 나타납니다. 우리가 아는 한, 이것은 이전 디코딩 작업에서 사용되는 분포 가정의 근간이 되는 로짓 기하학에 대한 최초의 체계적인 분석입니다. 경계가 지정된(bounded), 가벼운 꼬리(light-tailed) 및 무거운 꼬리(heavier-tailed) 분포를 아우르는 제어된 순서 통계량 기준선(order-statistic baselines)들이 관찰된 로그-선형 기하학을 상당 부분 설명할 수 있지만, 이들은 기울기 $\alpha$의 체계적인 변화는 설명하지 못합니다. 학습된 언어 모델은 $\alpha \approx 1.4$--$1.7$을 보여 초기화 기준선($\alpha \approx 0.2$)보다 훨씬 높은 값에 위치합니다. 더욱이, $\alpha$는 예측 성능과 상관관계가 있어, 일반적인 극값 효과(extreme-value effects)를 넘어 학습된 구조를 포착함을 시사합니다.