ProcBench: LLM 코딩 에이전트의 프로세스 수준 결함 및 제어 보존 평가

요약

ProcBench는 LLM 코딩 에이전트의 최종 결과물뿐만 아니라 실행 과정에서 발생하는 프로세스 수준의 결함을 평가하기 위해 제안된 새로운 벤치마크 프레임워크입니다. 이 프레임워크는 실행 실패를 온톨로지로 구성하고 이질적인 로그를 표준화된 궤적 표현으로 변환하여, 위험 기반 스코어카드를 통해 에이전트의 동작을 진단합니다. 연구 결과, ProcBench는 기존 결과 중심 평가가 놓치기 쉬운 다단계 작업 중의 반복적 실패를 식별하고 진단적 차별성을 제공하는 데 효과적임을 입증했습니다.

핵심 포인트

• 기존 벤치마크의 한계인 최종 결과(컴파일 성공, 테스트 통과 등) 중심 평가를 넘어 실행 과정의 가시성을 확보함
• 실행 실패를 재사용 가능한 온톨로지로 구성하고 이질적인 로그를 통일된 궤적 표현으로 표준화함
• 보정된 위험 기반 스코어카드를 통해 결함 발견의 경험적 해석 가능성을 향상시킴
• AndroidBench, TerminalBench, SWE-bench-Verified 등 기존 벤치마크에 적용하여 유효성을 검증함