에이전트 확장성(agent-extensibility) 인터페이스를 호스팅하는 플랫폼 팀은 회귀 경제학의 역설(regression-economics paradox)에 직면합니다. 모든 온보딩 고객은 자신의 도메인에 맞게 조정된 평가 세트를 배포하지만, 플랫폼의 회귀 세트는 릴리스 주기(release cadence)에 의해 제한되는 엄격한 쿼리 수 상한선 내에 존재해야 합니다. 저희가 알기로는, 이러한 플랫폼 측의 큐레이션 문제를 다루는 공개된 산업용 파이프라인은 없습니다. 기존의 평가 프레임워크는 고객 측(customer-side) 중심이며, 벤치마크 압축(benchmark-compression) 연구는 벤치마크를 유입되는 세트의 스트림이 아닌 고정된 풀(fixed pools)로 취급합니다. 본 논문에서는 Microsoft 365 Copilot의 커스텀 액션(custom actions)을 가진 선언적 에이전트(declarative agents)에 적용되는 역량 분류 체계(capability-taxonomy) 기반의 큐레이션 파이프라인을 설명합니다. 이 파이프라인은 에이전트 사양(specification)과 고객의 평가 세트를 입력으로 받아, 각 쿼리를 플랫폼 소유의 역량 분류 체계로 투영하며, 쿼리별 결정(수락, 드롭, 교체 또는 인간 검토)을 출력합니다. 이는 건강한 회귀 세트란 역량 시그니처(capability signatures, 즉 쿼리가 함께 실행하는 역량들의 독특한 조합)의 최대 확산 범위를 포착하는 최소한의 쿼리 세트라는 철학을 바탕으로 합니다. 이를 구현하기 위해 세 가지 구성 요소가 사용됩니다: 결정론적 사양 기반 추출(deterministic specification-based extraction)과 대규모 언어 모델(LLM)의 의미론적 추론(semantic inference)을 결합하여 (쿼리, 역량)별 판결을 생성하는 분류기(classifier); 쿼리가 각 역량을 얼마나 철저하게 실행하는지 점수를 매기는 호출 품질(Invocation Quality, IQ) 평가기(rater)로서, 이를 통해 기존 항목과 동일한 시그니처를 공유하는 새로운 쿼리가 더 나은 테스트로 인식되어 기존 항목을 대체할 수 있게 합니다; 그리고 규칙 기반의 결정 캐스케이드(rule-based decision cascade)를 통해 유입되는 쿼리를 커버리지와 품질 측면에서 회귀 세트와 비교하며, 오직 삭제만을 제안하는 보수적인 큐레이터(curator)의 지원을 받는 통합기(consolidator)입니다. 이 메커니즘은 분류 체계에 구애받지 않으며(taxonomy-agnostic), 파이프라인이 드러내는 증거에 따라 진화하는 분류 체계를 포함하여, 타입화된 역량 분류 체계가 있는 모든 회귀 평가 세트 큐레이션 문제에 적용 가능합니다.