Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
LLM 사후 학습의 한계를 극복하기 위해 RL과 온-정책 증류(OPD)를 결합한 'Distilled RL'을 제안합니다. 이 방식은 미세한 입도의 가이드를 제공하여 새로운 지식을 효과적으로 전달하며, 기존 방식보다 뛰어난 성능을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기대규모 언어 모델 (LLM) 사후 학습 (post-training)은 추론, 적응 및 정렬 (alignment) 능력을 향상시키는 데 필수적입니다. 기존 방법들은 주로 두 가지 패러다임인 강화학습 (RL)과 온-정책 증류 (on-policy distillation, OPD)를 따릅니다. 그러나 RL은 거친 입도 (coarse-grained)의 결과물 감독 (outcome supervision)에 의존하여, 신용 할당 (credit assignment)이 어렵고 새로운 지식을 습득하는 능력이 제한적입니다. 한편, OPD는 KL 발산 (KL divergence)을 통해 교사 모델의 로짓 (logits)을 무조건적으로 일치시키는데, 이는 딜레마를 생성합니다. 즉, 유사한 교사는 새로운 지식을 거의 제공하지 못하는 반면, 상당히 다른 교사는 종종 효과적이지 못한 가이드를 제공하여 OPD를 주로 동일 계열 내 증류 (within-family distillation)로 제한하게 만듭니다. 우리는 교사 감독을 RL 목적 함수에 통합하여 미세한 입도 (fine-grained)의 가이드를 제공하고, 새로운 지식을 선택적으로 전달하며, 무조건적인 모방을 피하는 증류 강화학습 (Distilled RL)을 제안합니다. Distilled RL은 클리핑 (clipping)을 적용한 역 중요도 샘플링 (reverse importance sampling), 부정 샘플 리셋 (negative sample reset), 그리고 시퀀스 수준의 기하학적 정규화 (sequence-level geometric normalization)의 세 가지 구성 요소를 포함합니다. 간결하고 해석 가능한 사례 연구를 통해, 우리는 Distilled RL이 교사 모델로부터 학생 모델로 이전에 사용할 수 없었던 지식을 효과적으로 전달할 수 있음을 입증합니다. 동일 계열 및 교차 계열 (cross-family) 증류 설정 모두에서의 광범위한 실험 결과, Distilled RL이 pass@1 및 pass@k 측면 모두에서 표준 RL 및 OPD를 실질적으로 능가함을 보여줍니다. 우리의 코드는 https://github.com/597358816/Distilled-RL 에서 확인할 수 있습니다.