Agentic Harness Engineering Beta: 요구사항 중심의 에이전트 하네스 진화
요약
기존 하네스 진화가 로컬 최적점에 머무는 문제를 해결하기 위해, 요구사항 중심의 에이전트 하네스 엔지니어링 Beta (AHE-Beta)를 제안합니다. 이 방법은 사용자 주도 평가, 일반화 가능한 팀 기반 수정, 그리고 요구사항 주도 선택의 3단계 루프를 통해 실제 사용자의 요구사항을 반영하여 에이전트를 진화시킵니다. AHE-Beta는 기존 대비 높은 성능 향상과 효율성을 입증했습니다.
핵심 포인트
- AHE-Beta는 사용자 요구사항을 중심으로 하네스 진화를 수행하는 새로운 방법론입니다.
- 세 단계 루프(평가→수정→선택)를 통해 일반화 가능한 변경 사항을 구현합니다.
- Base Harness 대비 pass@1이 33.3%로 향상되었으며, 토큰 사용량은 40.8% 감소했습니다.
- 인간 A/B 테스트에서 실제 사용자들에게 높은 선호도를 얻어 실효성을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기