온-폴리시 증류(On-Policy Distillation)의 기하학
요약
새로운 연구는 온-폴리시 증류(OPD)가 파라미터 공간을 탐색하는 독특한 기하학적 경로를 분석했습니다. OPD가 SFT나 RLVR과는 구별되는 좁고 저차원적인 부분 공간에 빠르게 수렴함을 밝혀냈습니다.
핵심 포인트
- OPD는 파라미터 공간을 탐색하는 독특한 기하학적 경로를 가집니다.
- OPD의 경로는 SFT나 RLVR과 구별되는 저차원 부분 공간에 고정됩니다.
새로운 연구는 OPD가 파라미터 공간을 어떻게 탐색하는지 보여줍니다.
이는 SFT와 RLVR 모두와 구별되는 좁고 저차원적인 부분 공간에 빠르게 고정됩니다.
이는 OPD가 단순히 중간 지점이 아니라, 자신만의 독특한 기하학적 경로를 따른다는 것을 밝혀냅니다. https://t.co/6vhQd8Cy3N
AI 자동 생성 콘텐츠
본 콘텐츠는 X @huggingpapers (검증됨)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0