Skills-Coach: 훈련 없는 GRPO 를 통한 자기 진화형 기술 최적화 프레임워크
요약
Skills-Coach는 대규모 언어 모델(LLM) 기반 에이전트가 기술 능력을 스스로 발전시키는 것을 돕기 위해 설계된 자동화 프레임워크입니다. 이 프레임워크는 다양한 작업 생성, 경량 최적화, 비교 실행, 추적 가능한 평가의 네 가지 핵심 모듈로 구성되어 있습니다. Skills-Coach를 통해 LLM 에이전트는 광범위한 기술 범주에서 성능 향상을 달성하여, 더욱 견고하고 적응력 있는 지능형 애플리케이션 개발을 가능하게 합니다.
핵심 포인트
- Skills-Coach는 LLM 기반 에이전트의 '기술 자기 진화(self-evolution of skills)'를 자동화하는 프레임워크입니다.
- 프레임워크는 다양한 작업 생성, 경량 최적화, 비교 실행, 평가의 4가지 핵심 모듈로 구성되어 체계적인 기술 개선을 수행합니다.
- Skills-Coach는 Skill-X라는 포괄적인 벤치마크 데이터셋(48개 기술)을 사용하여 성능 향상을 검증했습니다.
- 이 프레임워크를 통해 개발된 LLM 에이전트는 광범위한 기술 능력에서 상당한 성능 개선과 적응력을 보여줍니다.
우리는 Large Language Model (LLM) 기반 에이전트 내의 기술(self-evolution of skills) 자기 진화를 획기적으로 향상시키기 위한 새로운 자동화 프레임워크인 Skills-Coach를 소개합니다. 현재의 기술 생태계 단편화 문제를 해결하기 위해, Skills-Coach는 기술 능력의 한계를 탐구함으로써 지능형 애플리케이션에 필수적인 포괄적인 역량 커버리지를 가능하게 합니다.
이 프레임워크는 네 가지 핵심 모듈로 구성됩니다:
- 다양한 작업 생성 모듈 (Diverse Task Generation Module): 다양한 기술에 대한 포괄적인 테스트 수트를 체계적으로 생성합니다.
- 경량 최적화 모듈 (Lightweight Optimization Module): 기술 프롬프트와 이에 대응하는 코드를 최적화하는 데 전념합니다.
- 비교 실행 모듈 (Comparative Execution Module): 원래 기술과 최적화된 기술의 실행 및 평가를 용이하게 합니다.
- 추적 가능한 평가 모듈 (Traceable Evaluation Module): 명시된 기준에 대해 엄격하게 성능을 평가합니다.
Skills-Coach는 가상 모드와 실제 모드를 통해 유연한 실행 옵션을 제공합니다. 효과성을 검증하기 위해 48 가지 다양한 기술로 구성된 포괄적인 벤치마크 데이터셋인 Skill-X를 소개합니다. 실험 결과는 Skills-Coach가 광범위한 범주의 기술 능력에서 상당한 성능 향상을 달성하여, 보다 견고하고 적응력 있는 LLM 기반 에이전트의 개발을 진전시킬 잠재력을 보여줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기