PBSD: 장기적 신용 할당(Long-Horizon Credit Assignment)을 위한 특권적 베이지안 자기 증류(Privileged

장기적 에이전트 작업(Long-horizon agentic tasks)은 결과 기반 강화학습(Outcome-based reinforcement learning)에 있어 근본적인 신용 할당(Credit assignment) 문제를 제기합니다. 궤적 수준의 보상(Trajectory-level rewards)은 최종적인 정답 여부는 확인해주지만, 어떤 중간 추론 단계나 도구 상호작용(Tool interactions)이 결과에 기여했는지에 대해서는 제한적인 가이드만을 제공합니다. 이러한 어려움은 멀티턴 검색 에이전트(Multi-turn search agents)에서 특히 두드러지는데, 성공적인 궤적에는 오도하는 행동(Misleading actions)이 포함될 수 있고, 실패한 궤적에는 가치 있는 증거 수집 단계(Evidence-gathering steps)가 포함될 수 있기 때문입니다.

본 논문에서는 희소한 최종 보상(Sparse final rewards) 환경에서 미세한 신용 할당을 수행하기 위한 베이지안 보정 자기 증류(Bayes-calibrated self-distillation) 방법론인 PBSD(Privileged Bayesian Self-Distillation)를 제안합니다. PBSD는 검증된 정답의 사후 확률 대 사전 확률 비율(Posterior-to-prior probability ratio)을 통해 궤적의 품질을 측정하며, 베이즈 정리(Bayes' rule)를 적용하여 추정하기 어려운 정답 측 비율을 표준 학생 모델(Student model)과 특권적 정답 조건부 교사 모델(Privileged answer-conditioned teacher model) 사이의 다루기 쉬운 가능도 비율(Likelihood ratio)로 변환합니다. 이 베이지안 증거 점수(Bayesian evidence score)를 자기회귀적 분해(Autoregressive decomposition)하면, 각 중간 턴(Turn)이 검증된 결과에 기여하는지 아니면 저해하는지를 식별하는 턴 수준의 신호(Turn-level signals)를 얻을 수 있습니다.

결과적으로 PBSD는 희소한 결과 감독(Sparse outcome supervision)을 베이지안 보정된 턴 수준의 신용 신호(Bayes-calibrated turn-level credit signals)로 변환하는 원칙적이고 우아한 재가중치 부여 방식(Reweighting scheme)을 제공하며, 표준 정책 최적화(Policy optimization)와 완전히 호환됩니다. 실험을 통해 PBSD가 도메인 내(In-domain) 및 도메인 외(Out-of-domain) 설정 모두에서 일관되게 성능을 향상시키며, 단기 컨텍스트(Short-context) 학습에서 장기 컨텍스트(Long-context) 추론으로 지식을 효과적으로 전이함을 입증했습니다. 이는 PBSD의 미세한 신용 할당 메커니즘이 더욱 효과적인 정책 학습을 촉진하고 개선된 일반화(Generalization) 성능을 이끌어낸다는 것을 시사합니다.