RubricEM: 검증 가능한 보상을 넘어선 루브릭 기반 정책 분해를 활용한 Meta-RL

요약

본 연구는 깊이 있는 연구 에이전트(deep research agents)를 훈련시키는 새로운 강화학습 프레임워크인 RubricEM을 제안합니다. 기존의 검증 가능한 보상 방식으로는 복잡한 계획, 검색, 증거 평가 과정을 거치는 에이전트의 행동 경로와 경험 재사용에 한계가 있었습니다. RubricEM은 루브릭(rubric)을 단순한 최종 평가 도구가 아닌, 정책 실행, 심사 피드백, 그리고 에이전트 메모리를 구조화하는 공유 인터페이스로 활용하여 단계별 정책 분해를 가능하게 합니다.

핵심 포인트

• 깊이 있는 연구 에이전트는 계획, 검색, 증거 평가 등 복잡한 과정을 거치므로 기존의 검증 가능한 보상 방식으로는 훈련에 한계가 있다.
• RubricEM은 루브릭을 최종 답변 평가를 넘어 정책 실행 및 메모리 구조화의 공유 인터페이스로 활용한다.
• 제안된 프레임워크는 단계별 정책 분해(stagewise policy decomposition)를 통해 에이전트의 복잡한 행동 경로와 경험을 체계적으로 학습하고 재사용할 수 있게 한다.