온도를 넘어: 후기 단계의 기하학적 확장으로서의 하이퍼피팅 (Hyperfitting)

최근 연구에서는 소규모 데이터셋에 대해 대규모 언어 모델 (LLMs)을 거의 0에 가까운 훈련 손실 (training loss)로 미세 조정 (fine-tuning)할 때, 놀랍게도 개방형 생성 (open-ended generation) 품질이 향상되고 탐욕적 디코딩 (greedy decoding)에서의 반복이 완화되는 '하이퍼피팅 (Hyperfitting)'이라는 직관에 반하는 현상을 확인했습니다. 이러한 방식은 효과적이지만, 그 근저에 있는 메커니즘은 여전히 잘 이해되지 않고 있으며, 극도로 낮은 엔트로피 (entropy) 출력 분포는 단순한 온도 스케일링 (temperature scaling)과 잠재적으로 동일할 가능성을 시사합니다. 본 연구에서 우리는 이 현상이 분포 샤프닝 (distribution sharpening)과는 근본적으로 다르다는 것을 입증합니다. 엔트로피를 맞춘 대조 실험 (control experiments)을 통해 온도 스케일링이 하이퍼피팅의 다양성 이득을 재현하는 데 실패함을 보여줍니다. 나아가, 우리는 정적 어휘 재가중치 (static vocabulary reweighting) 가설이 틀렸음을 입증하며, 절제 연구 (ablation studies)를 통해 하이퍼피팅이 동적이고 문맥 의존적인 순위 재정렬 (rank reordering) 메커니즘에 의존한다는 것을 보여줍니다. 계층별 분석 (Layer-wise analysis)을 통해 이 효과가 마지막 트랜스포머 블록 (transformer block)에서의 '터미널 확장 (Terminal Expansion)'에 국한됨을 밝혀냈으며, 여기서 특징 공간 (feature space)의 상당한 기하학적 확장 (Delta Dim 약 +80.8)이 딥테일 토큰 (deep-tail tokens)의 촉진을 용이하게 합니다. 추가적으로, 우리는 마지막 5개 계층만을 업데이트하여 최소한의 파라미터 업데이트로 견고한 생성을 구현하는 표적 미세 조정 전략인 Late-Stage LoRA를 소개합니다.