LLM 기반 취약점 패치 벤치마크의 신뢰성에 관하여

대규모 언어 모델(LLMs)은 자동화된 취약점 패치에 강력한 잠재력을 보여주었지만, 현재의 벤치마크는 보고되는 성능을 크게 왜곡할 수 있습니다. 이러한 프레임워크를 개발하고 실행하며 스트레스 테스트해 온 광범위한 경험을 바탕으로, 우리는 세 가지 차원에 걸쳐 충분히 검토되지 않은 함정들을 식별합니다: (1) 에이전트 수준 요인(agent-level factors)으로, 프롬프팅(prompting), 도구 가용성(tool availability), 상세 지침 등이 개발자에게 맞는 패치 품질을 개선하지 않으면서 성공률을 높일 수 있습니다; (2) 프레임워크 수준 요인(framework-level factors)으로, 권한 오류(permission errors), 인프라 버그(infrastructure bugs), 타임아웃 처리(timeout handling) 등이 성능을 조용히 억제하거나 부풀릴 수 있습니다; 그리고 (3) 데이터셋 수준 요인(dataset-level factors)으로, 버그 리포트와 단일 개념 증명(PoC) 테스트가 패치가 근본 원인을 해결하는지 또는 개발자 의도를 따르는지를 포착하지 못합니다. 우리는 84개의 오픈 소스 C/C++, Go, Rust 프로젝트에서 가져온 112개의 역사적 버그를 선별했으며, 각 버그에는 PoC 테스트, 회귀 테스트(regression tests), 그리고 원본 개발자의 설계 원칙과의 정렬성을 평가하는 추가 개발자 테스트가 포함되어 있습니다. 통제된 실험과 사례 연구를 통해, 우리는 LLMs가 이상적인 조건 하에서 높은 PoC 통과율을 달성할 수 있지만, 벤치마크 실행 선택 자체가 측정된 성공에 실질적인 변화를 줄 수 있음을 보여줍니다. 더욱 중요하게는, 개발자 테스트 통과율은 여전히 낮으며 최신 모델로도 미미하게만 개선되고 있어, 모델들이 일관되게 상위 스트림(upstream) 품질의 수정 사항을 생성하기보다는 증상만을 점점 더 억제하고 있음을 시사합니다. 이러한 결과들은 벤치마크 점수가 평가 설계에 매우 민감하다는 것을 보여주며, 우리는 보다 엄격하고 신뢰할 수 있으며 재현 가능한 평가를 위한 실질적인 지침을 제공합니다.