요약(TL;DR): 대부분의 강화학습 (RL) 사후 학습 (post-training) 알고리즘은 현재 배치 (batch)를 최적화하고 다음으로 넘어갑니다. 하지만 업데이트 이후, 새로운 정책 (policy)이 실제로 더 좋아졌을까요? 우리는 정책 개선 강화학습 (Policy Improvement Reinforcement Learning, PIRL)과 그 실질적인 구현체인 정책 개선 정책 최적화 (Policy Improvement Policy Optimization, PIPO)를 소개합니다. 이는 RL 학습이 과거를 되돌아보고, 이전 업데이트를 검증하며, 그에 따라 강화하거나 수정할 수 있게 해주는 플러그 앤 플레이 (plug-and-play) 프레임워크입니다.

왜 현재의 RL 사후 학습은 종종 "오픈 루프 (open-loop)"일까요? PPO, GRPO, GSPO, DAPO, 온-정책 증류 (on-policy distillation), 그리고 자기 증류 (self-distillation)와 같은 방법들은 학습 신호를 구성하는 방식은 다르지만, 대체로 동일한 패턴을 공유합니다: 현재 정책에서 배치를 샘플링합니다. 보상 (rewards), 어드밴티지 (advantages), 또는 증류 타겟 (distillation targets)을 계산합니다. 정책을 업데이트합니다. 다음 배치로 넘어갑니다. 이 업데이트가 국소적 목적 함수 (local objective)를 개선할 수는 있지만, 그것이 결과적으로 나온 정책이 실제로 더 좋아졌음을 반드시 의미하지는 않습니다. 유한한 샘플링 (Finite sampling), 생성의 확률성 (generation stochasticity), 노이즈가 섞인 피드백 (noisy feedback), 그리고 불완전한 국소적 신용 할당 (imperfect local credit assignment)은 모두 정책을 도움이 되지 않는 방향으로 몰아넣을 수 있습니다. 업데이트의 결과를 명시적으로 확인하지 않으면, 학습은 표류하거나, 불안정해지거나, 심지어 붕괴할 수도 있습니다. 이것이 우리가 오픈 루프 RL 최적화라고 부르는 것입니다.

PIRL: 정책 개선 자체를 목적 함수로 만들기
PIRL은 누락되었던 피드백 신호, 즉 연속된 정책들 사이에서 측정된 성능 이득 (performance gain)을 도입합니다. 단지 다음과 같이 묻는 대신: PIRL은 또한 다음과 같이 묻습니다: 누적된 정책 개선 목적 함수는 최종 태스크 성능과 일치 상태를 유지하며, RL 사후 학습에 대한 클로즈드 루프 (closed-loop) 관점을 제공합니다.

PIPO: 2단계 클로즈드 루프 업데이트
PIPO는 이 아이디어를 실질적이고 플러그 앤 플레이 가능한 알고리즘으로 전환합니다.

1단계 — 탐색 (Exploration)
기본 알고리즘이 정상적으로 실행됩니다. 그것이 PPO, GRPO, DAPO이든, 혹은 자기 증류 목적 함수이든, 원래의 국소적 귀속 신호 (local attribution signal)를 사용하여 정책을 업데이트합니다. 모델은 기본 알고리즘이 현재 유용하다고 판단하는 방향으로 탐색적 단계를 밟지만, 그 방향이 반드시 옳다는 보장은 없습니다.

2단계 — 회고적 검증 (Retrospective verification). 다음 반복(iteration)에서, PIPO는 업데이트된 정책 (policy)을 평가하고 그 성능을 슬라이딩 윈도우 (sliding-window) 방식의 과거 앵커 (historical anchor)와 비교합니다. 이를 통해 정책 개선 피드백 신호 (policy-improvement feedback signal)가 생성됩니다: 만약 성능이 향상되었다면, PIPO는 이전의 업데이트를 강화하고 공고히 합니다. 만약 성능이 저하되었다면, PIPO는 해당 학습 방향을 억제하거나 수정합니다. 중요한 점은, PIPO가 기본 알고리즘의 로컬 신용 할당 (local credit assignment)을 대체하지 않는다는 것입니다. 대신 PIPO는 이전 업데이트의 실증적 효과를 검증하는 두 번째 피드백 계층을 추가합니다. 한 문장으로 요약하자면: 도움이 되었다면 강화하고, 해가 되었다면 수정하는 것입니다.

결과. 수학적 추론 (mathematical reasoning), 코드 생성 (code generation), 도구 사용 (tool use), 그리고 자기 증류 (self-distillation) 전반에 걸쳐, PIPO는 PPO, 그룹 상대적 최적화 방법 (group-relative optimization methods), 그리고 자기 증류 목적 함수 (self-distillation objectives)에 추가되었을 때 일관된 이득을 제공합니다. 또한 실험 결과, 무작위 시드 (random seeds) 전반에 걸쳐 향상된 학습 안정성을 보여주었으며, 전반적인 실제 실행 시간 (wall-clock) 효율성도 개선되었습니다. PIPO는 유사하거나 약간 증가된 학습 시간 내에서 더 높은 정확도에 도달했습니다. PIPO는 기존의 RL 사후 학습 (post-training) 알고리즘을 대체하기보다는 범용적인 클로즈드 루프 (closed-loop) 계층으로 설계되었습니다. 저희는 RL 커뮤니티가 이에 대해 어떻게 생각하는지, 특히 회고적 검증 (retrospective verification)에 대해, 그리고 정책 개선 (policy improvement)이 일급 학습 신호 (first-class training signal)가 되어야 하는지에 대해 의견을 듣고 싶습니다.

📄 논문 (Paper): Policy Improvement Reinforcement Learning
💻 코드 (Code): github.com/JacckMa/pipo_verl
/u/This_Ad9834가 r/MachineLearning에 제출함 [link] [comments]