어려운 이슈인가, 약한 모델인가, 아니면 잘못된 실행인가? 코딩 에이전트를 위한 실패 예측 재고찰

소프트웨어 엔지니어링 (SE) 에이전트를 위한 궤적 기반 실패 예측기는 실행의 부분적인 궤적을 읽어 현재 진행 상황이 올바른지 잘못되었는지를 플래그합니다. 만약 잘못되고 있다면, 해당 실행은 중단되거나, 재시도되거나, 다른 모델로 전환될 수 있습니다. 우리는 이러한 예측기들이 실행 자체에 대해 무언가를 학습하는지 질문합니다.

각 모델이 각 이슈를 한 번씩 시도하는 공개 SWE-bench Verified 궤적에서, 예측기 성능을 지배하는 것은 실행과 독립적인 두 가지 요인입니다. 첫 번째는 이슈 난이도입니다. 이 참조 점수는 실행 자체를 전혀 보지 않고 오직 다른 모델에게 해당 이슈가 얼마나 어려운지만을 보기 때문에 0.92 AUROC에 도달하는 반면, 궤적 예측기는 약 0.62에 도달합니다.

두 번째는 모델 능력입니다. 특정 이슈 내에서 어떤 모델이 실행되었는지 아는 것이 우리의 예측기보다 실패를 더 잘 예측하며, 예측기들은 전반적인 모델 능력 순위를 크게 재현합니다. 난이도와 능력을 넘어서, 예측기들이 궤적으로부터 얻는 것은 통계적으로 0과 같습니다.

이러한 혼란은 예측 후 취해지는 조치에도 이어집니다. 모델 전환은 종종 최고의 단일 모델의 해결률과 임의의 모든 모델을 아는 오라클(any-model oracle) 사이의 격차에 의해 동기 부여됩니다. 이 격차는 무작위 변동만으로 발생하는 것보다 크지 않습니다. 이슈별 전환은 별도로 보관된 실행에서는 아무것도 얻지 못합니다.

반복 실행 파일럿에서, 동일한 모델이 일부 실행에서는 이슈를 해결하고 다른 실행에서는 실패하는 경우가 많습니다. 따라서 재시도는 실제로 실패를 복구할 여지가 있지만, 이는 나쁜 실행으로 인해 발생한 실패만을 구제할 뿐, 모델의 능력을 초과하는 이슈에 대한 실패는 그렇지 않습니다. 현재 예측기들은 주로 실행 자체가 아닌 이슈와 모델을 예측하기 때문에 원인을 구분할 수 없습니다. 우리는 반복 실행 벤치마크 및 폐쇄 루프(closed-loop), 동등 예산 설정에서 평가되는, 왜 실행이 실패했는지 설명하는 실패 예측을 요구합니다.