안녕하세요 여러분, 만약 여러분이 Kimi, DS, Qwen 그리고 GLM의 기술 보고서들을 읽어오셨다면, 온 폴리시 증류 (on-policy distillation)와 GRPO 스타일 알고리즘이 프런티어 기술을 얼마나 강력하게 뒷받침하고 있는지 깨닫게 될 것입니다. 저는 이 알고리즘들의 이면에 있는 수학과 코드를 설명하고, 이것들이 사전 학습 (pretraining) 및 지도 미세 조정 (supervised fine tuning)과 어떻게 연결되는지를 설명하는 심층 분석을 진행하는 것이 매우 유익할 것이라고 생각했습니다. 저는 이 주제들에 대한 심층 분석을 여기에 게시했습니다. 여러분이 즐겁게 읽으시고 LLM의 학습을 더 잘 이해하는 데 도움이 되기를 바랍니다. 이에 대한 질문이 있다면 기꺼이 답변해 드리겠습니다.

/u/johnolafenwa 님이 제출함 [link] [comments]