QASecClaw를 넘어서: 에이전트 확장성, 검증기 피드백 및 소프트웨어 보장에서의 증거 신뢰성

이미 결정론적 도구 증거(deterministic tool evidence)가 사용 가능한 경우, 추가적인 전문 언어 모델 컨텍스트(specialist language-model contexts)가 소프트웨어 보장성을 향상시킬 수 있을까요? 우리는 이 질문을 자율 작성된 Java 경고 제어(authored Java warning controls), OWASP Benchmark 평가, Defects4J 테스트 생성, SV-COMP 단언 판결(assertion verdicts), 그리고 의도적으로 오해를 유발하는 증거 패키지 등 다섯 가지 실험을 통해 연구했습니다. 평가된 시스템은 Qwen2.5-Coder-7B-Instruct와 1.5B 민감도 분석을 사용했으며, 총 13,638개의 모델 요청을 완료했습니다.

여덟 가지 관련 개발 경고에 대해 컨텍스트 개수를 1개에서 50개로 늘리자 안전하지 않은 클리어런스(unsafe clearance)는 개선되지 않았음에도 불구하고 토큰 사용량은 49배 증가했습니다. 160개의 OWASP 사례에서는 모델 구성이 클리어런스와 미해결 결과 사이의 상충 관계를 보였으며, 컨텍스트가 열 개에 달하는 팔(ten-context arm)은 단지 96개 사례만을 평가했습니다. 32개의 SV-COMP 작업에서 원시 검증기 피드백(raw verifier feedback)은 평균 정확한 모델 판결을 12.7개에서 22.0개로 높였지만, 부정확한 판결 또한 1개에서 7개로 증가시켰습니다. JBMC-plus-JVM 검증 기준선(validation baseline)은 26개의 정확한 판결과 여섯 개의 미해결 결과를 반환했습니다.

두 세트의 120개 증거 패키지에 대해 모델들은 적용 가능한 카운터 예제(counterexamples) 중 70~100%를 거부하는 반면, 구성별 범위 검사(construction-specific scope checks)는 모든 패키지를 정확하게 분류했습니다. 세 개의 Defects4J 버그에서는 목표 결함이 발견되지 않았으며, 이 중 하나는 테스트 어댑터가 지원하지 않는 경우였습니다.

이러한 기술적인 결과들은 테스트된 환경에서 결정론적 증거 채택을 뒷받침하지만, 판결 집계(verdict aggregation), 피드백 해석, 그리고 사용 가능한 평가 범위의 한계를 드러내고 있습니다.