Trust-Region Behavior Blending을 통한 On-policy Distillation Warmup 문제 해결

요약

Trust-Region Behavior Blending 기법을 통해 On-policy Distillation Warmup 문제를 해결하는 연구를 소개합니다. KL 신뢰 영역 내에서 학생 모델의 롤아웃을 교사 정책과 혼합하여 수학적 추론 성능을 극대화합니다. 또한 Tencent의 새로운 Universal Audio Tokenizer 출시 소식도 포함되어 있습니다.

핵심 포인트

• KL 신뢰 영역 내 학생-교사 정책 혼합 기법 제안
• 예산을 점진적으로 감소시켜 수학적 추론 성능 최적화
• Tencent의 단일 코드북 기반 Universal Audio Tokenizer 출시
• 오디오 인지와 언어적 정렬을 결합한 Audio-LLM 통합 지원