LLM 후처리 과정에서 샤프닝 제어하기

원문 발행 2026. 11. 02. 22:54원문 언어 영어AI 한국어 번역arXiv cs.LG (Machine Learning) 원문 보기

요약

LLM 후처리 과정에서 발생하는 샤프닝(sharpening) 현상은 모델의 어려운 작업 발전을 정체시킬 수 있습니다. 본 연구는 KL 정규화된 pass@k 및 max@k 목표에 대한 최적 정책을 도출하고, 이를 KAPPO(Adaptive Pressure for Policy Optimization)라는 새로운 프레임워크로 제어합니다. 이 방법은 기존 @1 방법을 @k에 원활하게 적용하며, 적은 비용으로 높은 성능을 입증했습니다.

핵심 포인트

샤프닝 현상은 LLM의 어려운 작업 발전 정체를 유발할 수 있음.
pass@k 및 max@k 목표에 대한 최적 정책을 닫힌 형식으로 도출함.
KAPPO는 기존 @1 방법을 @k에 적용하는 새로운 프레임워크를 제공함.
단일 완성 훈련만으로 다중 완성 @k 성능 구현이 가능하여 비용 효율적임.

강화학습(RL)을 통한 LLM 후처리는 행동 커버리지 감소라는 대가로 정확도 향상을 꾸준히 보여왔는데, 이는 샤프닝(sharpening)이라고 알려진 현상으로 어려운 작업에서의 발전을 정체시킬 수 있습니다. $\mathrm{pass@k}$ 및 $\mathrm{max@k}$와 같은 반복 샘플링 목표는 샤프닝을 완화하는 것으로 알려져 있지만, 그 메커니즘은 여전히 이해하기 어렵습니다. 게다가, $\mathrm{@k}$ 최적화를 위한 기존 접근 방식들은 전용 알고리즘을 사용하며, $\mathrm{@}1$에서 $\mathrm{@k}$로 확립된 정책 최적화 방법들을 적용할 수 있는 일반적인 프레임워크가 존재하지 않습니다. 우리는 KL 정규화(KL-regularized)된 $\mathrm{pass@k}$ 및 $\mathrm{max@k}$ 목표에 대한 최적 정책을 닫힌 형식(closed form)으로 도출합니다. 우리의 명시적인 해법은 $\mathrm{@k}$ 최적화가 프롬프트 난이도에 따라 학습 압력을 자연스럽게 재분배하여 더 어려운 문제로 유도한다는 것을 보여줍니다. 결정적으로, 표준 $\mathrm{@}1$ 목표는 프롬프트 적응형 정규화(prompt-adaptive regularization) 또는 보상 변환(reward transformation)을 통해 이와 정확히 동일한 최적 정책을 달성함을 보여줍니다. 궁극적으로 이는 왜 $\mathrm{@k}$ 목표가 쉬운 작업에서는 샤프닝을 줄이는 동시에 더 어려운 작업을 우선시하는지에 대한 옵티마이저 독립적인 설명을 제공합니다. 이러한 통찰력을 바탕으로, 우리는 $\mathrm{@k}$ 적응형 압력 정책 최적화(KAPPO: Adaptive Pressure for Policy Optimization)를 소개합니다. 일회성 참조 보정(reference calibration) 이후, KAPPO는 다른 훈련 절차를 변경하지 않으면서 프롬프트 적응형 정규화 또는 보상 변환을 통해 기존 $\mathrm{@}1$ 방법을 $\mathrm{@k}$에 원활하게 적용합니다. 수학적 추론 및 코드 생성에 대한 여러 RL 방법으로 실험한 결과, KAPPO가 샤프닝에 대한 직접적인 제어를 제공함을 입증했습니다. 결정적으로, 우리는 $\mathrm{@k}$ 압력이 단일 완성 훈련(single completion training)만으로 완전히 구현될 수 있으며, 이는 다중 완성 $\mathrm{@k}$ 옵티마이저의 성능과 동일하면서도 비용은 훨씬 적다는 것을 보여줍니다.

AI 자동 생성 콘텐츠

원문 바로가기

LLM 후처리 과정에서 샤프닝 제어하기

요약

핵심 포인트

댓글