에이전트 AI 를 위한 스킬 리트리벌 오거멘테이션 (Skill Retrieval Augmentation)

대규모 언어 모델 (LLMs) 이 에이전트 문제 해결자 (agentic problem solvers) 로 진화함에 따라, 그들은 본래의 파라메트릭 능력 (native parametric capabilities) 을 넘어선 작업을 처리하기 위해 외부 재사용 가능한 스킬에 더 많이 의존하고 있습니다. 기존 에이전트 시스템에서 스킬을 통합하는 주된 전략은 컨텍스트 윈도우 내로 이용 가능한 스킬을 명시적으로 열거하는 것입니다. 그러나 이 전략은 확장성이 부족합니다: 스킬 코퍼스가 확대됨에 따라 컨텍스트 예산이 빠르게 소모되고, 에이전트가 올바른 스킬을 식별하는 정확도가 현저히 떨어집니다. 이를 위해 본 논문에서는 에이전트가 필요에 따라 대규모 외부 스킬 코퍼스에서 관련 스킬을 동적으로 검색하고, 통합하며, 적용하는 새로운 패러다임인 스킬 리트리벌 오거멘테이션 (SRA) 을 제안합니다. 이 문제를 측정 가능하게 만들기 위해 우리는 대규모 스킬 코퍼스를 구축하고, 스킬 검색, 스킬 통합, 그리고 최종 작업 실행을 모두 아우르는 전체 SRA 파이프라인에 대한 분해 평가의 첫 번째 벤치마크인 SRA-Bench 를 도입했습니다. SRA-Bench 는 5,400 개의 능력 집중형 테스트 인스턴스와 636 개 수동으로 구성된 골드 스킬을 포함하며, 웹에서 수집한 도트랙터 스킬과 혼합되어 총 26,262 개의 스킬로 이루어진 대규모 코퍼스를 형성합니다. 광범위한 실험 결과, 리트리벌 기반 스킬 오거멘테이션이 에이전트 성능을 현저히 향상시킬 수 있음을 보여주어 이 패러다임의 가능성을 입증했습니다. 동시에 우리는 스킬 통합에 있어 근본적인 격차를 발견했습니다: 현재 LLM 에이전트는 골드 스킬이 검색되었는지, 아니면 작업이 실제로 외부 능력을 필요로 하는지에 관계없이 유사한 비율로 스킬을 로드하는 경향이 있습니다. 이는 스킬 오거멘테이션의 병목 현상이 검색뿐만 아니라 기본 모델이 어떤 스킬을 로드해야 하며 외부 로드가 실제로 필요한지 판단하는 능력에도 있음을 보여줍니다. 이러한 발견은 SRA 를 별도의 연구 문제로 위치시키고, 향후 에이전트 시스템에서 능력의 확장 가능한 오거멘테이션을 위한 기초를 마련합니다.