현재 여러 자율 침투 테스트 (autonomous pentest) 도구들이 XBOW XBEN 벤치마크에서 약 96%에 달하는 점수를 광고하고 있습니다. 맥락이 없는 퍼센티지는 증거가 아니라 마케팅일 뿐입니다. 실무자처럼 이러한 주장들을 읽는 방법을 소개합니다.

XBEN의 실체

XBOW는 탐지 (detection)보다는 취약점 공격 검증 (exploit validation)을 중심으로 구축된 104개의 웹 챌린지 세트를 오픈 소스로 공개했습니다. 이러한 집중 방식은 바람직합니다. 공격 성공 (exploitation)을 증명하는 것은 잠재적인 문제를 플래깅 (flagging)하는 것보다 훨씬 더 어렵고 정직한 기준이기 때문입니다. 하지만 벤치마크는 실행되는 조건에 따라 그 의미가 달라집니다.

점수를 부풀리는 변수들

힌트가 없는 상태인가, 아니면 힌트가 제공되었는가? 단 한 번의 시도인가, 아니면 무제한 재시도인가? 헤드라인 숫자의 이면에 있는 오탐률 (false positive rate)은 얼마인가? 힌트와 재시도를 통해 높은 점수를 기록하는 도구는, 힌트 없이 첫 시도에서 더 낮은 점수를 기록한 도구와 비교될 수 없습니다.

통제된 환경과 실전 사이의 격차

단순히 실험실 (labs)이 아닌 실제 타겟에서 에이전트 (agents)를 평가하는 최근 연구들은 동일한 결과를 계속해서 찾아내고 있습니다. 즉, 실험실 벤치마크는 실제 능력을 과장한다는 것입니다. CTF 스타일의 완료는 지저분한 운영 시스템 (production system)에서의 검증된 발견 (validated discovery)과 동일하지 않습니다.

투명성 체크리스트

어떠한 자율 침투 테스트 주장이라도 신뢰하기 전에, 재현 가능한 실행 (reproducible run), 공격 증거물 (proof of exploit artifacts), 오탐률 (false positive rate), 그리고 힌트 제공 여부를 요구하십시오. 만약 이것들이 누락되어 있다면, 그 숫자는 결과가 아니라 슬라이드(단순한 보여주기식 자료)에 불과합니다.

직접 시도해보세요

재현 가능성 (Reproducibility)이 핵심입니다. 평가하려는 도구에 대해 직접 벤치마크를 실행하고 정직하게 비교하십시오.

• Repo (GPLv3): https://github.com/ASCIT31/Dark-Moon
• Docs: https://docs.dark-moon.org/
• Demo: https://youtu.be/1bFRVuMkZzY

침투 테스터 (pentesters)들에 의해 만들어졌으며, 침투 테스터들을 위해 오픈 소스로 공개되었습니다. 방법론과 증거 추적 (evidence trail)에 대한 피드백을 진심으로 환영합니다.