통제된 환경에서 야생 환경으로: 실제 세계를 위한 펜테스팅 에이전트 평가

요약

AI 펜테스팅 에이전트의 신뢰도가 높아지고 있지만, 기존의 벤치마크는 제한된 환경과 미리 정의된 목표(예: 플래그 획득)에만 초점을 맞추고 있어 실제 세계에서의 성능을 정확히 측정하는 데 한계가 있습니다. 본 논문은 이러한 문제를 해결하기 위해 평가의 초점을 단순한 과제 완료에서 '검증된 취약점 발견'으로 전환하는 실용적인 새로운 평가 프로토콜을 제시합니다.

핵심 포인트

• 기존 AI 펜테스팅 에이전트 평가는 플래그 획득, RCE 등 제한적이고 단순화된 환경에 국한되어 있습니다.
• 현재의 벤치마크는 실제 펜테스팅에 필수적인 복잡성, 개방형 탐색 및 전략적 의사결정 능력을 충분히 포착하지 못합니다.
• 본 연구는 평가 프로토콜을 '과제 완료' 중심에서 '검증된 취약점 발견' 중심으로 전환하여 실용성을 높였습니다.