Uni-OPD: On-Policy Distillation 을 통합하는 쌍안 관점 최적화 레시피

요약

본 논문은 전문가 모델의 능력을 단일 학생 모델로 통합하는 On-policy Distillation (OPD)의 한계를 극복하기 위해 Uni-OPD라는 일반화된 프레임워크를 제안합니다. 연구진은 OPD가 효과적으로 작동하지 못하게 하는 두 가지 주요 병목 현상, 즉 정보에 풍부한 상태 탐색 부족과 신뢰할 수 없는 교사 감독 문제를 식별했습니다. 이를 해결하기 위해 학생 측면에서는 데이터 균형 전략을, 교사 측면에서는 올바른 경로와 잘못된 경로 간의 일관성 조정 메커니즘을 도입하여 강력하고 범용적인 최적화 레시피를 제시합니다.

핵심 포인트

• Uni-OPD는 LLM 및 MLLM에 적용 가능한 일반화된 On-policy Distillation (OPD) 프레임워크입니다.
• OPD의 핵심 병목 현상으로 '정보가 풍부한 상태 탐색 부족'과 '신뢰할 수 없는 교사 감독'을 식별하고 이를 해결책으로 제시했습니다.
• 학생 측면에서는 데이터 균형 전략을 통해 정보에 풍부한 상태 탐색을 촉진합니다.
• 교사 측면에서는 올바른 경로와 잘못된 경로의 간격 조정 메커니즘을 개발하여 순차적 일관성을 복원함으로써 신뢰할 수 있는 감독을 구현했습니다.