어노테이션이 포스트 트레이닝 모드 붕괴를 완화한다

포스트 트레이닝(지도 미세 조정)은 명령어 수행 능력을 향상시키지만, 종종 모델을 저엔트로피의 미세 조정 데이터로 편향시켜 높은 엔트로피를 가진 사전 학습 분포를 희생시키는 의미론적 모드 붕괴(semantic mode collapse)를 유발합니다. 결정적으로, 우리는 이러한 트레이드오프가 규모와 함께 악화된다는 것을 발견했습니다. 이 의미론적 다양성 격차를 해소하기 위해, 우리는 어노테이션 기반 학습(annotation-anchored training)을 제안합니다. 이는 모델이 포스트 트레이닝의 선호도 추종 행동을 채택하면서도 사전 학습의 내재된 다양성을 희생하지 않도록 하는 원칙적인 방법입니다. 우리의 접근 방식은 간단합니다. 우리는 의미론적 어노테이션과 쌍을 이루는 문서로 사전 학습하여, 사전 학습 데이터의 전체 폭을 반영하는 풍부한 어노테이션 분포를 유도하고, 이 분포를 포스트 트레이닝 동안 유지합니다. 이를 통해 추론 시 다양한 어노테이션을 샘플링하고 이를 앵커(anchor)로 사용하여 생성을 안내함으로써, 사전 학습의 의미적 풍요로움을 포스트 트레인 모델에 효과적으로 전이할 수 있습니다. 우리는 어노테이션 기반 학습으로 훈련된 모델이 SFT로 훈련된 모델보다 $6 imes$ 적은 다양성 붕괴를 달성하며, 규모와 함께 개선된다는 것을 발견했습니다.