표면 지표를 넘어선: 기업 유지보수 및 AI 코딩 벤치마크에서의 다중 조건 요구사항

레포지토리 수준의 AI 코딩 벤치마크는 작업 성공 여부를 측정하지만, 소프트웨어 유지보수 완료에 필요한 조건을 직접적으로 포착하지 못합니다. 우리는 유지보수 작업이 여러 운영 조건을 충족해야 하는 '다중 조건 충족(multi-condition fulfillment)'을 연구했습니다. 때로는 방향성 의존성(directional dependencies)을 가지기도 합니다.

우리는 고정된 18개 기준의 분류 체계(taxonomy)를 사용하여 2,925개의 Apache Fineract 이슈와 SWE-bench Pro, SWE-PolyBench Java, 그리고 SWE-EVO에서 가져온 944개의 작업을 분석했습니다. 우리는 조건의 폭(condition breadth), 코퍼스 수준의 동시 발생성(corpus-level co-occurrence), 그리고 소스 기반 방향성 요구사항 관계를 검토했습니다.

이슈 분류, 수정 파일 수, 코드 변경률(code churn)을 기준으로 매칭된 1,177개의 벤치마크 작업 쌍 중에서 평균 충족 집합의 Jaccard 거리는 0.8138이었으며, 이 중 57.4%는 서로 다른 조건 집합을 가지고 있었습니다. 단순히 조건 개수만으로는 이러한 대조를 설명할 수 없습니다: SWE-bench Pro는 작업당 평균 2.47개의 조건을 보이는 반면, Fineract은 1.78개입니다.

시간적(Temporal) 및 숫자적(Numerical) 조건의 경우, Fineract에서는 phi 계수가 +0.430인 반면, 통합된 벤치마크 코퍼스에서는 -0.013을 보였습니다. 시간 태그가 지정된 작업들 중에서도, 숫자적 조건은 Fineract 사례의 48.85%(254/520)에서 명시되는 반면, 벤치마크 사례에서는 5.81%(5/86)에 불과했습니다.

우리는 시간, 계산, 상태 보존과 관련된 Fineract 요구사항에서 16개의 방향성 관계를 문서화했으며, 관련 조건이 평가 단언(evaluation assertions)에 어떻게 나타나는지 보여주기 위해 네 가지 벤치마크 사례를 검토했습니다. 이러한 예시들은 벤치마크 전반의 오라클 누락(oracle omissions)을 정량화하지는 않습니다.

결과는 유사한 표면 작업 프로파일이 상당히 다른 충족 조건 집합을 가릴 수 있음을 보여줍니다. 우리는 조건의 폭, 동시 발생성, 그리고 방향성 관계를 개별적으로 보고할 것을 권장합니다. 코퍼스 비교는 설명적이며 도메인 차이를 반영할 수는 있지만, 인과관계를 확립하거나 실제 생산 실패율을 나타내지는 않습니다.