DEEPRUBRIC: 효율적인 심층 연구 에이전트 (Deep Research Agents)의 강화학습 (RL)을 위한 증거 트리 루브릭 감독

요약

DeepRubric은 심층 연구 에이전트의 강화학습 효율을 높이기 위해 증거 트리(evidence tree)를 기반으로 쿼리와 루브릭을 합성하는 프레임워크입니다. 이를 통해 기존 방식보다 훨씬 적은 GPU 자원으로도 최첨단 연구 모델과 대등한 성능을 구현했습니다.

핵심 포인트

• 증거 트리를 활용한 역방향 데이터 구축 프레임워크 DeepRubric 제안
• 재귀적 하위 질문 확장을 통해 검증 가능한 평가 기준 확보
• 기존 방식 대비 약 13배 적은 RL GPU 시간으로 고성능 달성
• 루브릭 기반 GRPO를 통한 DeepRubric-8B 모델 학습 성공