자동화된 프로그램 복구(APR) 시스템의 평가는 일반적으로 벤치마크, 복구된 결함 수, 최종 패치 검증에 사용된 테스트를 보고하지만, 이러한 항목만으로는 시스템에 제시된 복구 작업을 완전히 명시하지 못합니다. 최근 LLM 기반 시스템들은 복구 전에 제공되는 정보, 복구 중 허용되는 저장소 및 테스트 작업, 그리고 실패한 시도 후에 반환되는 피드백 등에서 차이를 보이며, 이로 인해 동일한 벤치마크가 국지적인 패치 생성부터 저장소 수준의 진단 및 반복적 복구에 이르기까지 실질적으로 다른 복구 작업을 구현할 수 있게 합니다. 본 논문에서는 보고된 APR 결과와 관련된 실험 설정을 명시적으로 지정하기 위한 프레임워크를 제시합니다. 우리는 Defects4J와 SWE-bench에서 평가된 시스템들의 보고된 실험 설정을 분석하고, 각 결과를 작업 단위(task unit), 결함 위치 파악 가정(fault-localization assumptions), 초기 입력(initial input), 도구 접근(tool access), 복구 시간 피드백(repair-time feedback), 최종 검증(final validation), 그리고 자원 예산(resource budget)에 의해 특성화합니다. 우리의 분석은 벤치마크의 정체성만으로는 평가된 작업을 재구성하거나 보고된 복구율 전반에 걸쳐 적절한 비교 범위를 결정하기에 불충분함을 보여줍니다. 따라서 우리는 재현성을 향상시키고 시스템 간 비교의 범위를 명시적으로 만들기 위해 각 실험 설정을 지정하는 기계가 읽을 수 있는 스키마를 도입합니다.