Minification을 이용한 State-in-Context 에이전트의 토큰 사용량 감소
요약
State-in-Context 에이전트의 토큰 효율성을 높이기 위해 코드 미니피케이션 기술을 적용한 연구입니다. 소스 코드의 의미를 보존하며 불필요한 요소를 제거한 결과, 평균 토큰 사용량을 42% 절감하면서도 성능 하락을 최소화할 수 있음을 입증했습니다.
핵심 포인트
- 코드 미니피케이션을 통한 평균 입력 토큰 42% 감소
- SWE-bench Verified 벤치마크를 통한 성능 검증
- 토큰 절감과 해결률 사이의 트레이드오프 분석
- 비용 효율적인 소프트웨어 엔지니어링 에이전트 경로 제시
본 논문은 최근 소개된 State-in-Context 에이전트 프레임워크의 재현 및 확장을 제시합니다. 우리는 DirectSolve 변형 모델을 독립적으로 재구현하였으며, 이를 SWE-bench Verified 벤치마크에서 평가하였습니다. 우리는 GPT-5-mini를 사용하여 엔드 투 엔드(end-to-end) 전체 벤치마크 결과를 보고하며, GPT-4.1을 사용하여 선택된 어블레이션(ablation) 실험을 수행합니다. 또한, 우리는 상호 보완적인 연구 질문을 조사합니다: 토큰을 줄이는 입력 변환 전략이 소프트웨어 엔지니어링 에이전트의 성능에 미치는 영향은 무엇인가? 예비 프롬프트 분석을 바탕으로, 우리는 소스 코드(source code)가 토큰 소비의 지배적인 기여 요인임을 확인했습니다. 따라서 우리는 프로그램의 의미론(semantics)을 보존하면서 비필수적인 어휘 요소를 제거하거나 단축하는 일련의 코드 미니피케이션(code minification) 기술을 적용합니다. 제안된 변환 방식은 에이전트에 통합되어 체계적으로 평가됩니다. 실험 결과, 미니피케이션은 해결률(resolution rate)이 12%포인트 하락하는 가운데 평균 입력 토큰 사용량을 42% 감소시키는 것으로 나타났습니다. 이러한 결과는 경량화된 소스 코드 변환이 베이스라인 성능의 상당 부분을 유지하면서도 상당한 효율성 이득을 얻을 수 있음을 보여주며, 이는 더 비용 효율적인 에이전트를 향한 유망한 경로를 나타냅니다. 전체 구현체는 GitHub에서 공개적으로 확인할 수 있습니다: https://github.com/ipa-lab/minified-state-in-context-agent
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기