Harness Handbook: 진화하는 에이전트 하네스를 가독성 높고 탐색 가능하며 편집 가능하게 만들기
요약
본 글은 복잡한 AI 에이전트 시스템의 진화 과정에서 발생하는 '행동 국소화(Behavior localization)' 문제를 다룹니다. 개발자가 목표 동작을 구현하는 모든 코드를 식별하기 어렵기 때문에, 저자들은 행동 중심 표현인 'Harness Handbook'을 제안합니다. 이는 각 행동과 해당 소스 코드를 연결하여 에이전트의 수정 및 계획 과정을 돕습니다.
핵심 포인트
- 행동 국소화는 복잡한 에이전트 하네스 진화의 핵심 병목 지점입니다.
- Harness Handbook은 행동을 소스와 연결하는 자동 합성된 표현입니다.
- Behavior-Guided Progressive Disclosure (BGPD)를 통해 관련 구현 세부 사항으로 안내받습니다.
- Handbook 지원 계획은 분산되거나 드물게 실행되는 경로에서 큰 이점을 제공합니다.
현대 AI 에이전트의 역량은 단순히 기반 모델(foundation model)에만 의존하는 것이 아니라, 프롬프트를 구성하고, 상태를 관리하며, 도구를 호출하고, 실행을 조정하는 하네스(harness)에도 달려 있습니다. 모델, API, 환경 및 요구사항이 진화함에 따라, 하네스는 지속적으로 수정되어야 합니다. 이러한 변경을 수행하기 전에, 개발자나 코딩 에이전트는 목표 동작을 구현하는 모든 코드 위치를 식별해야 합니다. 이는 프로덕션 하네스가 크고, 밀접하게 결합되어 있으며, 행동적으로 분산되어 있기 때문에 어렵습니다. 반면, 수정 요청은 시스템이 무엇을 해야 하는지를 설명하고 저장소는 파일과 모듈별로 구성됩니다. 코드 검색(Code search), 저장소 인덱싱(repository indexing), 그리고 긴 컨텍스트 처리(long-context processing)가 검사를 용이하게 하지만, 여전히 이러한 행동 대 코드 매핑(behavior-to-code mapping)은 수동으로 복구해야 합니다. 따라서 행동 국소화(Behavior localization)는 하네스 진화의 중심 병목 지점입니다. 우리는 정적 분석과 LLM 지원 구조화를 통해 하네스 코드베이스로부터 자동으로 합성된, 행동 중심 표현인 Harness Handbook을 소개합니다. 이는 각 행동을 해당 소스와 연결합니다. 또한, 우리는 Behavior-Guided Progressive Disclosure (BGPD)를 도입하여 에이전트가 고수준의 행동에서 관련 구현 세부 사항으로 안내받고, 후보 위치를 현재 소스에 대해 검증하도록 합니다. 두 개의 오픈소스 하네스로부터 나온 다양한 수정 요청에 대해, Handbook 지원 계획(Handbook-Assisted planning)은 더 적은 플래너 토큰을 사용하면서도 행동 국소화와 편집 계획 품질을 향상시켰으며, 특히 분산된 사이트, 드물게 실행되는 경로, 그리고 크로스 모듈 상호작용에서 가장 큰 이점을 보였습니다. 따라서 복잡한 에이전트 시스템의 진화는 단순히 편집을 생성하는 것뿐만 아니라, 그 편집이 어디에 이루어져야 하는지를 결정하는 것에 달려 있습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기