On-policy distillation은 단순한 SFT-lite가 아니다

요약

본 기사는 On-policy distillation (OPD)이라는 새로운 연구 방법을 소개하며, 이것이 LLM을 매개변수 공간에서 재구성하는 방식을 분석합니다. OPD는 주성분 방향 회피 및 희소 업데이트를 통해 강력한 추론 능력을 유지하는 좁은 부분공간으로 빠르게 '고정'되는 특징을 가집니다. 또한, OmniGameArena이라는 VLM 게임 에이전트 실시간 UE5 벤치마크도 함께 제시되었습니다.

핵심 포인트

• OPD는 LLM 재구성의 새로운 방법론입니다.
• 주성분 방향 회피 및 희소 업데이트를 사용합니다.
• 강력한 추론을 유지하는 부분공간으로 수렴합니다.
• OmniGameArena은 VLM 게임 에이전트 벤치마크입니다.