대규모 에이전트 기술(Agentic Skills) 평가를 위한 프레임워크

에이전트 기술(Agent skills) — LLM 에이전트의 능력을 증강하는 구조화되고 재사용 가능한 지식 산출물 — 은 산업계에서 빠르게 채택되어 왔으나, 이들의 교차 도메인 영향력과 상용 및 오픈 소스 모델 전반에서의 활용은 여전히 연구가 부족한 상태이며, 개별 기술을 평가하기 위한 재사용 가능한 방법론도 존재하지 않습니다. 본 연구에서는 기술 작성자가 자신에게 가장 중요한 기술의 측면들을 엄격하게 평가할 수 있도록 현실적인 태스크(tasks)를 구축하고, 해당 태스크들을 해결함으로써 기술의 효용성을 추정할 수 있는 평가 프레임워크를 제시합니다. 나아가, 우리는 이러한 평가 접근 방식을 500개의 실제 기술에 대규모로 적용하여, 기술의 내용에서 파생된 1,000개의 태스크와 함께 지시 이행(instruction-following) 및 목표 달성(goal-completion) 채점 루브릭(scoring rubrics)을 생성했습니다. 이러한 지표를 사용하여, 우리는 폐쇄형(proprietary) 및 오픈 소스(open-source)를 모두 포함하는 19개의 에이전트-모델 구성이 해당 태스크에서 어떻게 수행되는지 평가합니다. 우리의 결과는 모델들이 기술에 인코딩된 지시 사항을 얼마나 밀접하게 준수하는지에 따라 크게 다르며, 이는 성능 향상 폭에서도 상당한 차이를 만든다는 것을 보여줍니다. 또한, 기술에 대한 접근이 기술이 없는 설정(no-skill setup)과 비교했을 때 모델의 행동을 유의미하게 변화시킨다는 것을 보여줌으로써, LLM 에이전트에 주관적인 워크플로우(opinionated workflows)를 인코딩하기 위한 필수적인 메커니즘을 제공합니다. 우리는 에이전트 기술에 관한 향후 연구를 지원하기 위해 우리의 평가 데이터셋을 공개합니다.