SkillGenBench: LLM 에이전트를 위한 기술 생성 파이프라인 벤치마킹

요약

LLM 에이전트가 저장소와 문서로부터 실행 가능한 기술(skills)을 직접 생성하는 능력을 평가하기 위한 새로운 벤치마크인 SkillGenBench를 소개합니다. 이 벤치마크는 태스크 조건부 및 태스크 불가지론적 생성 체제와 코드 저장소 및 문서 기반의 두 가지 소스를 모두 다룹니다. 실험을 통해 다양한 방법론 간의 성능 차이와 기술 추출 과정에서의 주요 실패 모드를 규명하였습니다.

핵심 포인트

• LLM 에이전트의 핵심 과제가 기술 사용을 넘어 기술 생성 능력으로 확장됨을 강조
• SkillGenBench는 통제된 프로토콜 하에서 기술 생성 파이프라인을 평가하는 표준화된 테스트베드 제공
• 태스크 조건부(Task-conditioned)와 태스크 불가지론적(Task-agnostic) 생성 방식을 모두 포함
• 코드 저장소와 긴 형식의 문서라는 두 가지 서로 다른 소스에서의 기술 추출 능력 평가
• 결정론적 실행 기반 검사를 통해 생성된 기술의 정확성과 실행 가능성을 검증