SkillCoach: 에이전트의 기술 사용(Skill-Use) 평가 및 향상을 위한 자기 진화형 루브릭 (Self-Evolving

요약

SkillCoach는 LLM 에이전트의 기술 사용(Skill-Use)을 평가하고 향상시키기 위한 자기 진화형 루브릭 프레임워크입니다. 실제 실행 데이터로부터 프로세스 루브릭을 도출하여 기술 선택, 준수, 구성, 성찰의 네 가지 차원을 정밀하게 평가합니다.

핵심 포인트

• 에이전트의 기술 사용 능력을 평가하는 자기 진화형 루브릭 프레임워크 제안
• 결과 중심 평가의 한계를 극복하기 위해 프로세스 기반의 정밀한 평가 수행
• 기술 선택, 준수, 구성, 성찰의 4가지 차원으로 에이전트 궤적 분석
• 진화된 루브릭을 통해 고품질 학습 궤적을 선택하는 프로세스 감독 기능 제공
• 실험 결과, 결과 중심 필터링보다 강력한 감독 신호임을 입증