100B+ 파라미터 교사 모델을 사용한 On-policy distillation이 이제 TRL에서 가능해졌으며, 기존 방식보다 최대 40배 더

요약

TRL 라이브러리를 통해 100B+ 파라미터의 대형 교사 모델을 활용한 On-policy distillation이 구현 가능해졌으며, 기존 방식 대비 최대 40배 빠른 속도를 달성했습니다. 이 성과는 생성 버퍼를 도입하여 vLLM의 롤아웃 효율성을 높이고, 요청 배치 및 logprob에 대한 이진 인코딩을 적용한 최적화된 교사 서버 구축 덕분에 가능했습니다.

핵심 포인트

• TRL에서 100B+ 파라미터 모델 기반 On-policy distillation 구현이 가능해졌다.
• 생성 버퍼 도입으로 vLLM의 롤아웃 생성 속도가 최대 41.7배 향상되었다.
• 요청 배치 및 이진 인코딩을 통해 교사 서버의 꼬리 지연 시간이 10배 감소하고 처리량이 약 3배 증가했다.
• Qwen3-235B와 같은 대형 모델을 4B 학생 모델로 증류하여 AIME25에서 39점 이상의 성능 향상을 입증했다.