TraceGraph: 에이전트 궤적(Trajectories)의 진단 및 개선을 위한 공유 의사결정 지형(Shared Decision

에이전트 벤치마크(Agent benchmarks)는 점점 더 풍부한 상호작용 궤적(interaction trajectories)을 기록하고 있지만, 평가는 종종 각 롤아웃(rollout)을 통과율(pass rate)이나 보상 점수(reward score)로 축소하여 나타냅니다. 우리는 공개된 멀티 모델 에이전트 궤적을 공유 의사결정 지형(shared decision landscapes)으로 변환하는 그래프 기반 프레임워크인 TraceGraph를 소개합니다. 각 작업에 대해, TraceGraph는 모델의 정체성이 도입되기 전, 풀링된 롤아웃(pooled rollouts)으로부터 관찰 가능한 행동-관찰 상태(action-observation states)를 기반으로 그래프를 구축합니다. 그런 다음 결과 정보가 포함된 생산적 핵심 영역(productive cores)과 함정 영역(trap regions)을 중첩시키며, 세 가지 이벤트인 접근(Access), 함정 노출(Trap exposure), 복구(Repair)로 각 롤아웃을 요약합니다. 5개의 벤치마크 분할(benchmark splits)에 걸친 궤적 전반에서, TraceGraph 프로파일은 집계된 점수(aggregate scores)에 의해 숨겨진 내비게이션 차이를 드러내며, 분할에 따라 함정을 피하는 것에 보상을 주는지 혹은 함정으로부터 회복하는 것에 보상을 주는지에 차이가 있음을 보여줍니다. 동일한 TraceGraph 지형은 SWE-bench를 위한 함정 인지 복구 파이프라인(trap-aware recovery pipeline)의 동기가 되기도 합니다. 즉, 런타임 탐지기(runtime detector)가 과거의 함정 영역과 일치하는 상태에서 작동하면, 동일한 접두사(prefix)로부터 경량화된 지속 정책(continuation policies)을 평가합니다. 탐지된 상태에서, 가장 우수한 풀링된 단일 요인 정책(pooled single-factor policy)은 제공자별 활성 구성 요소(provider-specific active components)를 통해, 제공자별 탐지된 하위 집합(per-provider fired subset)에서 공식 해결률(resolved rate)을 40.4%에서 43.5%로, 공통 탐지 인스턴스(common-fired instances)에서 41.0%에서 44.8%로 높였습니다. 전반적으로, TraceGraph는 에이전트 벤치마크가 무엇을 테스트하는지, 공유 지형 위에서 모델들이 어디서 갈라지는지, 그리고 실패 영역이 어떻게 다운스트림(downstream) 개선을 가이드할 수 있는지 질문하기 위한 프로세스 어휘(process vocabulary)를 제공합니다.