코딩 에이전트는 거의 전적으로 해결률(resolve rate)로 평가됩니다. 즉, 최종 패치가 목표 테스트를 통과하는지 여부입니다. 하지만 두 에이전트가 매우 다른 과정을 거쳐 동일한 결과에 도달할 수 있으며, 단일의 합격/불합격 라벨은 실행이 실패한 이유나 승인된 실행이 왜 추가적인 단계, 시간 또는 토큰을 사용했는지에 대해 아무것도 알려주지 않습니다. 이러한 과정 증거는 궤적(trajectory)에 존재하며, 이는 실행의 검색(searches), 읽기(reads), 편집(edits), 도구 호출(tool calls), 검증(validation), 그리고 되돌리기(reversions)를 기록합니다. 하지만 원시 추적(raw traces)은 이질적이며 실행 간 비교하기 어렵습니다. 우리는 해결률이 숨기는 것을 복구하는 궤적 진단 프레임워크인 TraceProbe를 제시합니다. TraceProbe는 각 원시 실행을 결정론적 효과 라벨이 있는 표준화된 아홉 가지 유형의 액션 분류(canonical nine-type action taxonomy)로 정규화한 다음, 두 개의 규칙 기반 모듈을 적용합니다: Insight는 확립된 디버깅 관행에서 차용한 단일 궤적 안티패턴(anti-patterns, 예: 검색 루프, 검증 건너뛰기)의 이름을 지정하고, Converge는 실행 쌍을 정렬하여 통제된 참조 하에서 그들의 행동이 어디서 벗어나는지 분류합니다. SWE-Bench Verified의 다섯 가지 프로덕션 설정에서 가져온 2,500개의 궤적에 TraceProbe를 적용한 결과, (i) 파일 선택은 성공과 실패를 분리하기에는 너무 거칠하며, 함수 선택 및 완성 동작이 이를 국소화한다는 것을 발견했습니다; (ii) Insight 안티패턴은 주로 코퍼스 수준의 난이도 단서 역할을 하며, 검색 루프가 가장 안정적입니다; 그리고 (iii) 심지어 해결된 실행조차 관련 코드에 얼마나 빨리 도달하는지, 그리고 얼마나 많은 실패한 작업을 초래하는지에 따라 차이가 납니다. 따라서 궤적 구조는 검사 대상을 국소화하고, 실패 가설을 제시하며, 검토를 위해 실행의 우선순위를 지정함으로써 결과에 감사 가능한 진단 컨텍스트를 추가합니다.