샘플링된 데몬스트레이션을 이용한 온폴리시 자기 증류(On-Policy Self-Distillation)가 출력 다양성을 감소시키는 현상에 대하여

요약

온폴리시 자기 증류(On-policy self-distillation)가 모델의 출력 다양성을 감소시키고 pass@k 성능 향상을 저해하는 현상을 분석합니다. 샘플링된 데몬스트레이션 사용 시 발생하는 복합적인 편향이 모델의 분포를 특정 모드에 집중시켜 다양성을 해친다는 점을 이론적으로 규명했습니다.

핵심 포인트

• 자기 증류 과정에서 롤아웃 다양성 감소 및 pass@k 곡선 평탄화 현상 발견
• 샘플링된 데몬스트레이션이 모델 자체의 편향을 피드백에 전달하는 문제 지적
• 조건부 상호 정보량 점수가 기본 분포를 특정 방향으로 기울게 함을 이론적 분석
• 자기 증류 모델은 평균 성능은 높으나 분포 외(OOD) 설정 및 다양성 측면에서 취약