라이브러리 드리프트 (Library Drift): 자기 진화형 LLM 스킬 라이브러리의 침묵하는 실패 모드 진단 및 해결

요약

자기 진화형 스킬 라이브러리는 '라이브러리 드리프트'라는 침묵하는 실패 모드에 직면해 있습니다. 이는 결과 중심의 관리 없이 무제한적으로 스킬이 축적되면서 검색 성능 저하, 거짓 양성 주입 등을 유발합니다. 본 연구는 이 드리프트를 진단하기 위한 재현 가능한 트리거와 추적 수준의 전용 진단 도구를 제공하며, 최소한의 거버넌스 레시피(결과 중심 은퇴, 활성 상한 제한 등)를 통해 성능을 크게 개선하는 해결책을 제시합니다.

핵심 포인트

• 자기 진화형 스킬 라이브러리는 관리 부재로 인해 '라이브러리 드리프트'라는 실패 모드를 겪는다.
• LLM이 작성한 스킬은 인간이 큐레이션한 스킬보다 성능 기여도가 낮다는 증거가 확인되었다 (SkillsBench).
• 연구는 스킬별 기여도 점수, 귀속 판결 등 추적 수준의 진단 도구를 제공하여 실패를 사전에 가시화한다.
• 최소한의 거버넌스 레시피(은퇴 정책, 활성 상한 제한) 적용 시 성능이 크게 향상됨을 입증했다 (pass@1 +0.328).
• 다양한 절제 실험을 통해 라이브러리 드리프트 진단 및 해결에 필요한 구체적인 플레이북을 제공한다.