온-폴리시 증류(On-Policy Distillation)의 기하학

요약

새로운 연구는 온-폴리시 증류(OPD)가 파라미터 공간을 탐색하는 독특한 기하학적 경로를 분석했습니다. OPD가 SFT나 RLVR과는 구별되는 좁고 저차원적인 부분 공간에 빠르게 수렴함을 밝혀냈습니다.

핵심 포인트

• OPD는 파라미터 공간을 탐색하는 독특한 기하학적 경로를 가집니다.
• OPD의 경로는 SFT나 RLVR과 구별되는 저차원 부분 공간에 고정됩니다.