다중 에이전트 오케스트레이션을 위한 보상 모델링

요약

본 논문은 다중 에이전트 시스템(MAS)의 오케스트레이션을 위한 새로운 자기 지도 학습 프레임워크인 OrchRM을 제안합니다. OrchRM은 인간 주석 없이도 중간 아티팩트를 활용하여 보상 모델 훈련에 필요한 승리-패배 쌍을 구성합니다. 이는 기존 방식 대비 효율성과 성능 면에서 큰 개선을 가져와, MAS 테스트 및 오케스트레이터 훈련의 확장성을 높입니다.

핵심 포인트

• OrchRM은 인간 주석 없이 오케스트레이션 품질 평가가 가능합니다.
• 중간 아티팩트를 활용하여 보상 모델 훈련에 필요한 승리-패배 쌍을 구성합니다.
• 기존 방식 대비 토큰 사용 효율성을 최대 10배 개선했습니다.
• 오케스트레이션 수준에서 직접 작동하여 확장성이 높습니다.