통제된 환경에서 야생 환경으로: 실제 세계를 위한 펜테스팅 에이전트 평가
요약
AI 펜테스팅 에이전트의 신뢰도가 높아지고 있지만, 기존의 벤치마크는 제한된 환경과 미리 정의된 목표(예: 플래그 획득)에만 초점을 맞추고 있어 실제 세계에서의 성능을 정확히 측정하는 데 한계가 있습니다. 본 논문은 이러한 문제를 해결하기 위해 평가의 초점을 단순한 과제 완료에서 '검증된 취약점 발견'으로 전환하는 실용적인 새로운 평가 프로토콜을 제시합니다.
핵심 포인트
- 기존 AI 펜테스팅 에이전트 평가는 플래그 획득, RCE 등 제한적이고 단순화된 환경에 국한되어 있습니다.
- 현재의 벤치마크는 실제 펜테스팅에 필수적인 복잡성, 개방형 탐색 및 전략적 의사결정 능력을 충분히 포착하지 못합니다.
- 본 연구는 평가 프로토콜을 '과제 완료' 중심에서 '검증된 취약점 발견' 중심으로 전환하여 실용성을 높였습니다.
AI 펜테스팅 에이전트는 공격 보안 시스템으로서 신뢰도가 높아지고 있지만, 현재의 벤치마크는 어떤 에이전트가 실제 목표물에서 가장 잘 수행할지에 대한 지침을 여전히 제한적으로 제공합니다. 기존의 평가 프로토콜은 플래그 획득(capture-the-flag), 원격 코드 실행(remote code execution), 익스플로잇 재현(exploit reproduction), 또는 궤적 유사성(trajectory similarity)과 같은 미리 정의된 목표를 단순화되거나 좁은 환경에서 평가하고 최적화합니다. 이러한 도구들은 제한된 역량 측정에는 유용하지만, 실제 펜테스팅에 필요한 복잡성, 개방형 탐색(open-ended exploration), 그리고 전략적 의사결정(strategic decision-making)을 충분히 포착하지 못합니다. 본 논문에서는 평가를 과제 완료에서 검증된 취약점 발견으로 전환하는 실용적인 평가 프로토콜을 제시하며, 이를 통해 평가를 가능하게 합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기