수정 과정에서 발생하는 무성 실패의 근원을 파악하기

LLM 기반 에이전트가 수정(repair)을 수행하는 동안 보안을 지키지 못하게 되는 첫 번째 지점을 찾아내는 것은, 해당 워크플로우의 어느 단계에 추가적인 보호 장치가 필요한지를 보여줄 수 있습니다. 이는 무성 실패(silent failures)의 경우 특히 어렵습니다. 무성 실패란 구문적 및 기능적 검사를 통과하지만 여전히 보안 취약점을 포함하는 패치를 말합니다. 이러한 패치는 관찰 가능한 실패 신호를 제공하지 않기 때문에, 관찰된 작업 실패와 레이블링된 실패 단계를 기반으로 하는 기존의 실패 귀인 방법(failure attribution methods)들은 적합하지 않습니다. 우리는 Security Awareness Gap Evaluation (SAGE)라는 추적 기반 방법을 제안합니다. SAGE는 각 턴에서 기록된 보안 추론 평가를 재구성된 코드 이력과 결합하여, 수정이 작업의 보안 의도에서 벗어나는 가장 빠른 턴을 식별합니다. 우리는 SecurityEval 및 CVEfixes에서 생성된 여섯 개의 에이전트 프레임워크와 여섯 개의 기반 모델이 만든 3,684개의 수정 추적(repair traces)으로부터 추출한 95개의 확인된 무성 실패에 대해 SAGE를 평가했습니다. SAGE는 93개 사례에서 발생 원인(origin)을 할당했습니다. 대부분의 원인은 해결되지 않은 보안 요구사항이나 부적절한 방어 선택이었으며, 코드 변경 자체와 일치하는 경우는 단지 다섯 건이었습니다. 에이전트가 취약한 코드를 도입했을 때, 그 원인은 19건 중 14건에서 쓰기(write)보다 선행했습니다. 반복적인 점수화와 두 번째 심사관은 정확한 턴보다는 발생 원인 유형을 더 일관성 있게 재현했으며, 최종 파일만 유지하는 추적의 경우 합의도가 가장 낮았습니다.