KnowGPO: 검색 에이전트를 위한 지식 기반 정책 최적화

딥 검색 에이전트는 장기적인(long-horizon), 다중 턴 상호작용을 통해 지식 집약적인 작업을 해결하는데, 이 과정에서 개별 검색 결정에 대한 기여도를 할당하는 것이 근본적으로 어렵습니다. 결과 기반 강화학습(Outcome-based reinforcement learning)은 전체 궤적에 걸쳐 공유되는 단일의 터미널 보상만을 제공합니다. 최근의 프로세스 감독 방법론들은 더 세밀한 수준에서 기여도를 할당하려고 시도하지만, 일반적으로 표면적인 궤적 상태나 모델 내부 신호 중 하나에 기여도를 고정하는 경향이 있습니다. 이 두 가지 모두 관측치가 이질적이고 검색된 컨텍스트가 길고 노이즈가 많은 깊은 검색 환경에서는 신뢰성이 떨어지게 됩니다. 우리는 KnowGPO를 제안합니다. 이는 궤적을 표면적인 관측치에 따라가 아니라, 그들이 습득한 작업 관련 지식(task-relevant knowledge)에 의해 정렬하는 강화학습 프레임워크입니다. 각 질의에 대해 KnowGPO는 답변을 도출하는 데 필요한 정보를 원자적인 지식 조건(atomic knowledge conditions)으로 분해하고, 매 단계에서의 궤적 상태를 충족한 조건들의 부분집합으로 표현합니다. 동일한 지식 상태를 공유하는 궤적들은 그룹화되어 그룹 내 비교가 이루어지며, 연속적인 단계 사이의 점진적인 지식 습득량(incremental knowledge gain)이 환경 기반 프로세스 보상(environment-grounded process reward) 역할을 합니다. Xbench, BrowseComp-ZH, 그리고 GAIA에서의 실험 결과는 KnowGPO가 결과만 고려하는 방식(outcome-only, GRPO) 및 프로세스 감독 기준선(process-supervision baselines, GiGPO, IGPO)보다 3.8점에서 4.2점까지 일관되게 높은 성능을 보였으며, 우리의 8B 모델은 대부분의 32B 오픈소스 시스템에 필적하거나 능가하는 성능을 보여주었습니다.