에이전트 기반 코드 리뷰는 병합되기 전에 취약점을 잡아낼 수 있을까?

요약

본 논문은 실제 버그 유발 커밋을 기반으로 에이전트의 보안 코드 검토 능력을 평가하는 최초의 포괄적 벤치마크인 SecPRBench를 제시합니다. 이를 통해 Firefox, V8 등 9개 핵심 시스템에서 수집된 총 265개의 태스크에 대해 여러 최신 LLM 모델들의 재현율(recall) 성능을 측정했습니다.

핵심 포인트

• SecPRBench는 실제 버그 유발 커밋 기반의 포괄적 보안 검토 벤치마크입니다.
• 최신 모델들의 재현율은 32.5%에서 78.1% 범위로 나타났습니다.
• Grok 4.6과 GPT-6이 높은 보안 검토 성능을 기록했습니다.
• 다른 보안 하네스(OpenAI, Anthropic)는 재현율에 차이를 보였습니다.