어노테이션이 포스트 트레이닝 모드 붕괴를 완화한다

요약

본 기사는 지도 미세 조정(Post-training) 과정에서 발생하는 의미론적 모드 붕괴 문제를 다루고 있습니다. 이 문제는 모델이 저엔트로피의 미세 조정 데이터에 편향되어 사전 학습 단계에서 얻은 풍부한 다양성을 잃는 현상입니다. 이를 해결하기 위해, 연구진은 '어노테이션 기반 학습(annotation-anchored training)'을 제안합니다. 이 방법은 의미론적 어노테이션과 쌍을 이루는 문서로 모델을 사전 학습시켜, 포스트 트레이닝 과정에서도 원래의 다양성을 유지하고 전이할 수 있도록 합니다.

핵심 포인트

• 지도 미세 조정(SFT)은 명령어 수행 능력을 높이지만, 의미론적 모드 붕괴를 유발하여 모델의 다양성을 저해합니다.
• 모드 붕괴는 모델 규모가 커질수록 더 심각하게 나타나는 문제로 확인되었습니다.
• '어노테이션 기반 학습'은 포스트 트레이닝의 이점을 유지하면서 사전 학습 데이터의 내재된 다양성을 보존하는 새로운 방법론입니다.
• 제안된 방식은 의미론적 어노테이션을 사용하여 모델이 다양한 분포를 샘플링하고 이를 생성 과정에 앵커(anchor)로 활용하게 합니다.
• 실험 결과, 제안된 학습 방식은 기존 SFT 대비 훨씬 적은 다양성 붕괴를 달성하며 규모와 함께 성능이 개선됨을 입증했습니다.