깊이 있는 연구 에이전트(deep research agents), 즉 계획하고, 검색하며, 증거를 평가하고, 장문의 보고서를 종합하는 시스템을 훈련시키는 것은 강화학습 (reinforcement learning)을 검증 가능한 보상(verifiable rewards)의 영역을 넘어 확장시킵니다. 이들의 출력물은 정답(ground-truth answers)이 부족하고, 그 이동 경로는 많은 도구 증강 결정(tool-augmented decisions)으로 구성되며, 표준적인 사후 훈련(post-training) 방식으로는 과거의 시도들을 재사용 가능한 경험으로 전환하는 메커니즘을 거의 제공하지 못합니다. 본 연구에서는 루브릭이 단순히 최종 답변 평가자로서 기능할 것이 아니라, 정책 실행(policy execution), 심사 피드백(judge feedback), 그리고 에이전트 메모리(agent memory)를 구조화하는 공유 인터페이스 역할을 해야 한다고 주장합니다. 이러한 관점에 기반하여, 우리는 단계별 정책 분해(stagewise policy decomposition)를 결합한 루브릭 기반 강화학습 프레임워크인 RubricEM을 소개합니다.

최종 성능을 넘어, 우리는 RubricEM의 핵심 요소들을 이해하기 위해 철저한 분석을 수행합니다.