LLM 에이전트들은 스킬 문서에 점점 더 의존하고 있지만, 대부분의 리트리버(retrievers)는 설명만으로 순위를 매기고 이전에 실행된 경험이 밝혀낸 정보는 무시합니다. 비록 관련성 높은 스킬이 실행을 방해할 수 있음에도 불구하고 말입니다.
우리는 CompSkill을 제시합니다. 이는 스킬들을 학습된 512차원(512-d) 키로 인덱싱하고, 일치하는 동일 작업 비교를 스킬 오프셋(skill offsets)과 제한된 키 잔여값(capped key residuals, KeyOpt)으로 컴파일합니다. 따라서 경험은 실행자가 받는 문서 자체는 바꾸지 않지만, 어떤 문서를 받게 할지는 바꿉니다.
알려지지 않은 작업 난이도를 가진 로지스틱 결과 모델(logistic outcome model) 하에서, 일치하는 비교는 그 난이도를 상쇄시키고 오직 불일치한(discordant) 비교만이 정보를 담게 됩니다. 지원 실행(support executions)의 경우, 예측은 각 불일치 작업마다 개선됩니다.
경험 하이퍼그래프(experience hypergraph)는 실행자와 문서 버전을 가진 모든 비교를 유지하고, 누락된 스킬을 회상하며, 인용된 리뷰에 근거를 제공합니다. 압축 키(Compact keys)는 차원의 8분의 1만 사용했을 때, SkillRet의 NDCG@10을 64.0에서 70.9로 끌어올립니다.
하나의 문서만으로 CompSkill은 각각 GPT-5.6-luna와 DeepSeek-V4.1-Flash를 사용하여 332개의 ToolQA 작업 중 256개 및 260개를 완료하며, 이는 모든 기준선(baseline)보다 많은 수치이며 AppWorld와 ALFWorld에서 가장 강력한 기준선들과 동등한 성능을 유지합니다.
새로 생성된 332개의 ToolQA 작업에서 GPT-5.6-luna를 사용하여 256개를 완료했으며, 이는 BM25, SkillRet-8B, Tool2Vec, RankGPT보다 훨씬 많은 수치입니다. 전체 844개 ToolQA 작업에서는 가장 강력한 기준선보다 24개가 더 많습니다.
선택은 관련성을 넘어 중요합니다: 다른 데이터베이스의 가이드 대신 같은 데이터베이스의 형제(sibling)와 올바른 가이드를 페어링하는 것이 96개 작업 중 8개의 손실을 초래했습니다.
코드, 모델 및 지원 데이터: https://github.com/satoshinji2992/CompSkill