Divergence-Point Preference Learning을 통한 멀티턴 도구 호출 에이전트의 자기 진화 (Self-Evolution)

요약

멀티턴 도구 사용 에이전트의 성능 향상을 위해 발산 지점 선호도 학습(Divergence-Point Preference Learning)을 제안합니다. ToolGraph와 DPO를 결합하여 도구 선택의 정확도를 높이고, 벤치마크 테스트에서 기존 대비 최대 16.8%의 성능 향상을 달성했습니다.

핵심 포인트

• ToolGraph를 통한 스키마 유도 토폴로지 및 이력 인식 제어 결합
• 발산 지점(Divergence Points)을 식별하여 고품질 선호도 쌍 구축
• DPO를 활용해 추론 시점과 동일한 컨텍스트 하에서 학습 수행
• tau2-bench 테스트 결과, 베이스라인 대비 16.8% 성능 향상 확인