합성 및 보상 — 실시간 환경에서의 다단계 도구 사용을 위한 강화학습 (Reinforcement Learning)

요약

LLM의 다단계 도구 호출 능력을 향상시키기 위한 강화학습 프레임워크 PROVE를 제안합니다. MCP 서버 라이브러리, 자동화된 데이터 합성 파이프라인, 그리고 외부 모델 없이 작동하는 프로그래밍 방식 보상 체계를 통해 모델의 도구 사용 성능을 크게 개선했습니다.

핵심 포인트

• 상태 격리 기술을 통한 실시간 실행 RL 훈련 환경 구축
• 실제 서버 상태를 반영한 검증된 다회차 도구 호출 데이터 합성
• 외부 판사 모델이 필요 없는 다중 구성 프로그래밍 방식 보상 도입
• Qwen, Granite 모델 대상 훈련 시 벤치마크 성능 대폭 향상