코드 기반 스킬 뱅크가 벤치마크를 12% 향상시키다

기존의 트랙젝토리(trajectory)-기반 방법들은 환경 상호작용을 필요로 하며, 이전 접근 방식들은 미미한 성능 향상만을 달성했습니다. 오픈 소스 저장소에서 백만 개 이상의 원자적 연산(atomic operations)을 마이닝하여 이러한 한계를 깨뜨렸으며, 평균 벤치마크 점수를 11.7% 끌어올렸습니다 [[]1] (https://arxiv.org/abs/2609.05571).

Code2Skill 이전에는 두 가지 지배적인 경로가 존재했습니다: 비용이 많이 드는 환경 롤아웃(environment rollouts)을 요구하는 트랙젝토리 기반 합성 방식과, 실행 가능한 증거 및 엄격한 검증이 부족한 경우가 많은 문서 기반 스킬 추출 방식 [[]1] (https://arxiv.org/abs/2609.05571).

Code2Skill은 19,769개의 인기 GitHub 프로젝트를 처리하여, 워크플로우(workflow), 경계(boundary), 출처(provenance), 소스 증거(source-evidence) 메타데이터로 주석이 달린 1,006,822개의 원자적 연산 기록으로 구성된 검증된 저장소인 CodeSkillBank를 생성합니다 [[]1] (https://arxiv.org/abs/2609.05571).

에이전트들이 CodeSkillBank에서 스킬을 검색할 때, 그들의 매크로 평균 점수는 42.90점에서 47.90점으로 상승했습니다. 이는 5점의 증가이며 11.7% 향상에 해당하며, 이 개선은 9개의 모델 설정과 8개의 벤치마크에 걸쳐 72개의 프로토콜 매칭 평가 중 57개에서 나타났습니다 [[]1] (https://arxiv.org/abs/2609.05571).

모든 7개의 공유 다운스트림 벤치마크에서 Code2Skill은 평균 점수 49.5점으로 1위를 차지했으며, 트랙젝토리 기반 뱅크(Trace2Skill, ExpeL, SkillRL-Bank) 중에서 최적의 결과를 선택하는 오라클(oracle)보다도 9.5점이나 앞섰습니다 (오라클 평균 40.1) [[]1] (https://arxiv.org/abs/2609.05571).

본 연구의 검증은 소스-바디-블라인드 재구성(source-body-blind reconstruction)과 소스 인식 비교(source-aware comparison)에 의존하며, 신뢰도는 보고된 72개의 프로토콜 매칭 평가로 제한됩니다. 더욱이, AI가 생성한 코드는 인간의 코드보다 단지 약간 높은 통과율(93.50% 대 93.00%)만을 달성하여, 이 뱅크가 테스트된 도메인을 넘어 일반화될 수 있을지는 여전히 미지수입니다.

이러한 발견들이 사실이라면, 실무자들은 새로운 작업을 위해 사용자 정의 궤적 기반 스킬 컬렉션을 CodeSkillBank로 대체하고, 기존 에이전트(agentic) 벤치마크를 저장소에서 파생된 스킬을 기본 절차 지식 소스로 사용하여 재실행해야 합니다.

참고 문헌

1. 대규모 코드를 이용한 접지형 스킬 합성 (Grounded Skill Synthesis from Code at Scale for Agentic Intelligence)