프로그램으로서의 에이전트 궤적: 지문 식별 및 코딩 에이전트 행동 프로그래밍

벤치마크 점수는 에이전트가 무엇을 맞혔는지는 알려주지만, 어떻게 그 결과에 도달했는지는 알려주지 않습니다. 본 연구에서는 모델, 작업(task), 접근 방식이 서로 다른 다양한 맥락에서 에이전트를 절차적으로 비교하는 방법을 소개합니다. 우리는 10개의 에이전트를 비교하였으며, 이들이 행동 습관(behavioral habits)에 의해 식별 가능하다는 것을 발견했습니다. 우리는 이 행동 습관을 지문(fingerprints)으로 정의합니다. 이러한 절차적 시그니처(procedural signatures)에 대한 프로브(probe)를 사용했을 때, 작업 간의 누수(leakage)를 제어한 상태에서 보지 못한 궤적(trajectory)을 정확한 에이전트의 것으로 85.7%의 정확도로 할당할 수 있었습니다. 우리는 모델의 패턴이 가진 독특한 특성을 드러낼 만큼 충분히 표현력이 있으면서도, 표면적인 변동을 피하기 위해 최대한 압축적인 창발적 어휘 유도(emergent vocabulary induction) 기술을 사용하여 에이전트의 문제 해결 절차를 위한 절차적 표현(procedural representations)을 개발했습니다. 우리는 에이전트 궤적의 구조적 차별성을 연구하기 위해 소프트웨어 엔지니어링 평가 데이터셋인 SWE-Bench에 우리의 프레임워크를 적용하였으며, 유사한 출시 시기의 모델들이나 서로로부터 증류(distilled)된 모델들 사이에서 행동이 가장 유사하다는 것을 발견했습니다 (예: 증류된 학생 모델과 그 스승 모델 사이의 Jensen-Shannon divergence는 0.25로, 다른 모델 쌍 사이 거리의 약 절반 수준입니다). 더 많은 모델이 평가 지표를 포화(saturate)시킴에 따라, 우리는 성공률뿐만 아니라 더 총체적인 차원을 따라 모델의 행동을 조사하는 것이 중요해질 것이라고 믿습니다. 우리는 에이전트의 흔적(traces)을 바탕으로 하향식(top-down) 방식으로 작업에 접근하는 방식을 절차적 수준에서 감사하고 평가하기 위한 라이브러리인 ProcGrep을 소개합니다. 우리는 이 연구가 작업 인지형 모델 라우팅(task-aware model routing), 에이전트 모니터링, 그리고 더 세밀한 비용 분석과 같이 개발자들이 코딩 에이전트를 다루고 프로그래밍하는 데 도움이 되는 다양한 응용 분야를 가질 것이라고 믿습니다.