연산량 인지적 토큰 예산 하에서의 소규모 Llama 스타일 언어 모델 학습 역학에 관한 정량적 실험 반복 측정 연구

본 연구는 고정된 연산량 제한적 (compute-constrained) 토큰 예산 하에서 학습된 소규모 Llama 스타일 언어 모델의 학습 역학 (training dynamics)을 조사합니다. 효율성을 단순히 최종 성능을 통해서만 평가하는 대신, 본 연구는 정량적 실험 반복 측정 (quantitative experimental repeated measures) 설계를 사용하여 검증 손실 (validation loss), 검증 퍼플렉시티 (validation perplexity), 이동 변동성 (rolling volatility), 백슬라이드 현상 (backslide behavior), 스파이크 현상 (spike behavior), 그리고 시드 간 변동성 (between-seed variability)이 토큰 기반 학습 구간에 따라 어떻게 변화하는지 분석합니다. TinyStories 코퍼스, CPU 기반 전정밀도 (full-precision) 학습, 그리고 약 2,000만 개의 누적 학습 토큰 목표 예산을 사용하여 426만 파라미터 모델에 대해 6회의 독립적인 학습 실행을 수행했습니다. 21개의 구간에 걸쳐 지표를 수집하여 126개의 시드별-구간별 관측치를 생성했습니다. 반복 측정 분산 분석 (Repeated measures ANOVA) 결과, 검증 손실, 검증 퍼플렉시티, 그리고 이동 변동성에 대해 통계적으로 유의미한 구간 효과가 나타났습니다. 기술적 궤적 (Descriptive trajectories)을 통해 초기에는 급격한 개선이 나타나지만, 이후 학습 구간에서는 비단조적 퇴보 (non-monotonic degradation)가 뒤따름을 확인했습니다. 평균 검증 손실은 초기화 시점의 8.3552에서 400만 토큰 근처의 2.7996까지 감소했으나, 최종 체크포인트에서는 3.9010으로 증가했습니다. 검증 퍼플렉시티 또한 동일한 패턴을 보이며, 학습 초기에는 급격히 하락하다가 나중에 상승했습니다. 파생된 텔레메트리 (telemetry)는 반복적인 검증 손실 백슬라이드를 보여주었으며, 미리 정의된 기준 하에서 안정적인 단계 (stable phase)가 존재한다는 구간 요약 증거는 발견되지 않았습니다. 이러한 결과는 연산량 인지적 (compute-aware) 언어 모델 평가가 최종 지표뿐만 아니라 학습 궤적을 조사해야 함을 시사합니다. 제한된 연산 환경에서는 추가적인 토큰 노출이 비례적인 일반화 이득을 생성하지 못한 채 연산 비용만 증가시킬 수 있으며, 구간 수준의 텔레메트리는 최종 지표가 가릴 수 있는 불안정성, 퇴보, 그리고 수확 체감 (diminishing returns)을 드러낼 수 있습니다.