AgentCyberRange: 현실적인 사이버 레인지에서의 최첨단 AI 시스템 벤치마킹

최첨단 (Frontier) AI 시스템은 코드베이스 검사, 취약점 탐지 및 공격 (exploitation)을 포함한 사이버 보안 작업 수행 능력이 점점 더 향상되고 있습니다. 그러나 이들의 공격 능력을 평가하는 것은 개방적이고 재현 가능하며 다중 호스트(multi-host)를 지원하는 사이버 레인지 (cyber ranges)에 대한 접근이 제한되어 있어 여전히 제약을 받고 있습니다. 기존의 공개 벤치마크들은 CTF 해결, 취약점 재현, 익스플로잇 생성과 같은 고립된 기술들을 포착하지만, 노출된 서비스 발견, 발판 확보 (gaining a foothold), 내부 정보 수집, 호스트 간 침해 확대와 같은 현실적인 침투 워크플로우 (intrusion workflows)는 종종 추상화하여 제외합니다. 이러한 격차로 인해 최첨단 AI 시스템이 현실적인 공격 조건 하에서 평가되는 경우가 드물기 때문에, 새롭게 나타나는 위험을 조기에 관찰하기 어렵습니다. 우리는 현실적인 사이버 레인지 내에서 자율적인 사이버 공격 능력을 측정하기 위한 최초의 개방형 다중 레인지 인프라 인 AgentCyberRange를 소개합니다. 이는 15개의 실제 웹 애플리케이션에 걸친 110개의 취약점과 156개의 내부 호스트를 포함한 8개의 기업형 사이버 레인지를 결합하며, 실행, 오케스트레이션 (orchestration), 결과 수집 및 검증을 위한 툴체인인 Cage를 포함합니다. 이 벤치마크는 두 가지 핵심 단계를 다룹니다: 에이전트가 노출된 애플리케이션을 탐색하고 취약점을 검증하는 웹 익스플로잇 (web exploitation) 단계와, 에이전트가 초기 발판을 더 넓은 내부 침해로 전환하는 포스트 익스플로잇 (post exploitation) 단계입니다. 우리는 동일한 프롬프트와 예산 조건 하에서 6개의 최첨단 AI 시스템을 평가했습니다. Codex를 탑재한 GPT-5.5가 가장 우수한 성능을 보였으며, 웹 익스플로잇 작업의 16.1%와 포스트 익스플로잇 작업의 31.7%를 해결했습니다. 더 구체적인 힌트가 제공될 경우, 이 비율은 각각 33.0%와 46.3%로 증가합니다. 우리는 또한 인기 있는 프로젝트에서의 알려지지 않은 취약점과 호스트 방어를 우회하는 페이로드 변이 (payload mutation)를 포함하여, 벤치마크 범위를 벗어난 발견 사항들도 관찰했습니다. 이러한 결과는 현실적이고 재현 가능한 조건 하에서 새롭게 나타나는 공격 능력을 관찰하기 위해 개방형 사이버 레인지 평가가 필수적임을 보여줍니다.