에이전트 행동을 해석하는 방법

Claude Code 및 Codex와 같은 자율 에이전트(Autonomous agents)는 이제 몇 시간 또는 며칠 동안 작동합니다. 이들의 런타임 행동(runtime behavior)을 이해하는 것은 비효율성을 진단하고, 버그를 수정하며, 더 나은 감독을 보장하는 것과 같은 다운스트림 작업(downstream tasks)을 위해 매우 중요해졌습니다. 이러한 이해를 얻는 주요 방법은 에이전트가 생성하는 추론 궤적(reasoning trajectories)과 실행 흔적(execution traces)을 분석하는 것입니다. 그러나 이러한 데이터는 비구조화된 자연어(natural-language) 형태로 남아 있어, 인간이 대규모로 해석하기 어렵습니다. 우리는 런타임 시 에이전트 행동을 기술하고 분석하기 위한 분류 체계인 ACTONOMY (Action과 Taxonomy의 결합)를 소개합니다. ACTONOMY는 두 가지 구성 요소로 이루어져 있습니다: (1) 근거 이론(Grounded Theory)을 통해 개발되었으며 10개의 행동(actions), 46개의 하위 행동(subactions), 120개의 리프 카테고리(leaf categories)로 구성된 3단계 계층 구조로 구조화된 분류 체계 자체, 그리고 (2) 살아있는 분류 체계를 호스팅하고, 이를 에이전트 궤적 분석에 적용하는 자동화된 분석 파이프라인을 제공하며, 맞춤화 및 성장을 위한 확장 프로토콜을 정의하는 오픈 저장소(open repository)입니다. 우리의 실험은 ACTONOMY가 에이전트 간의 행동 프로필을 비교하고, 다양한 궤적에 걸친 단일 에이전트의 행동을 특징지어 실패 모드(failure modes)를 나타내는 패턴을 드러낼 수 있음을 보여줍니다. 공유된 어휘(shared vocabulary)를 제공함으로써, ACTONOMY는 연구자, 에이전트 설계자 및 최종 사용자가 에이전트 행동을 더 일관되게 해석하도록 도와 더 나은 감독과 제어를 가능하게 합니다.