보안 취약점에 대한 자동 프로그램 복구 에이전트의 적대적 테스트

요약

본 논문은 LLM 기반의 자동 프로그램 복구(APR) 에이전트가 적대적 공격에 취약할 수 있음을 보여줍니다. SWEADV라는 새로운 벤치마크를 구축하고, GPT-5-Mini 등 세 가지 LLM 백엔드를 사용하여 APR 에이전트를 평가한 결과, 적대적 문제 설명은 높은 확률로 악성 행위를 유도하는 코드를 생성했습니다. 또한 기존 탐지 메커니즘의 낮은 탐지 정확도를 분석하며 자율적인 APR 에이전트의 신뢰성에 의문을 제기합니다.

핵심 포인트

• LLM 기반 APR 에이전트는 적대적 공격에 취약함.
• SWEADV 벤치마크를 통해 다양한 유형의 악성 패치를 테스트함.
• 사전/사후 탐지 메커니즘 모두 낮은 탐지 정확도를 보임.
• 자율적인 APR 에이전트는 현재 운영 환경에서 신뢰하기 어려움.