Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
LLM 에이전트의 기술(skill) 재작성 시 발생하는 품질과 비용 간의 트레이드오프를 연구합니다. 단순 프롬프트 압축을 넘어, 운영 지식 공학 관점에서 정보 보존 전략을 통해 비용을 절감하면서도 에이전트의 성능을 유지하는 방법을 제안합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기대규모 언어 모델 (LLM) 에이전트는 워크플로 (workflows), 도구 사용 (tool use), 구현 패턴 (implementation patterns), 검증 체크 (validation checks), 그리고 도메인 규칙 (domain rules)을 인코딩하는 재사용 가능한 절차적 문서인 기술 (skills)에 점점 더 많이 의존하고 있습니다. 기술 재작성 (skill rewriting)은 종종 프롬프트 압축 (prompt compression)으로 취급되지만, 더 짧아진 기술은 탐색 (exploration), 디버깅 (debugging), 그리고 복구 (recovery)를 방지하는 희소한 운영 앵커 (sparse operational anchors)를 제거함으로써 에이전트의 비용을 더 높게 만들 수 있습니다. 우리는 이러한 경제적 관점을 통해 기술 재작성을 연구합니다. 우리의 통제된 프레임워크는 기술 구조를 프로파일링하고, 정보 보존 전략 (information-preservation strategies)을 사용하여 기술을 재작성하며, 고정된 작업 지침 (task instructions), 환경 (environments), 그리고 검증기 (verifiers) 하에서 재작성된 내용을 평가합니다. SkillsBench에서의 실험은 전략에 따라 뚜렷한 품질-비용 트레이드오프 (quality--cost trade-offs)가 있음을 보여줍니다: API/코드 앵커링 (API/code anchoring), 워크플로 가딩 (workflow guarding), 그리고 규칙/공식 앵커링 (rule/formula anchoring)은 서로 다른 작업군에 이점을 제공하며, 보편적으로 우세한 템플릿은 존재하지 않습니다. 주요 홀드아웃 평가 (held-out evaluation)에서, 학습된 정책은 총 비용을 7.0% 감소시키고 다운스트림 에이전트 토큰 (downstream agent-token) 비용을 6.0% 감소시켰습니다; 동결된 교차 모델 전이 (frozen cross-model transfer)에서는 검증기 품질을 유지하면서 각각 평균 14.7%와 13.7%의 감소를 보였습니다. 이러한 결과는 기술 설계 (skill design)를 프롬프트 압축이 아닌, 비용 인식형 운영 지식 공학 (cost-aware operational knowledge engineering)으로 자리매김하게 합니다. 리소스:
ef{https://github.com/1Reminding/Skill_EE}{SkillEE}.