보안 에이전트 평가는 일반적으로 관대한 추론 예산 하에서 최대 공격 능력을 측정하며, 취약점 발견(vulnerability discovery), 익스플로잇 개발(exploit development), 침투 테스트(penetration testing), CTF 완료 등을 강조합니다. 이러한 측정은 유용하지만 불완전합니다: 실제 운영 보안 환경에서는 모든 추론 단계, 도구 호출, 원격 측정(telemetry) 쿼리 및 보강 요청이 예산을 소모하기 때문입니다. 우리는 공격적인 Cybench 챌린지와 방어적인 Splunk BOTS v1 조사 챌린지를 통해 이러한 비용-성공률 관점(cost-success lens)으로 언어 모델 보안 에이전트를 평가합니다. 단순히 최상의 경우 성공만 보고하는 대신, 고정된 비용 수준에서 모델들을 비교하고 추론 지출과 도구 지출에 따라 성능을 분해하여 분석합니다. 우리의 결과는 레드팀 및 블루팀 작업에 대해 뚜렷한 스케일링 영역(scaling regimes)을 보여줍니다. 공격적인 CTF 성능은 추가적인 테스트 시간 컴퓨팅 자원(test-time compute)이 늘어남에 따라 향상되며, 확장 가능한 오픈 웨이트 모델(open-weight models)은 비용 경쟁력을 유지하면서 최첨단 독점 시스템(frontier proprietary systems)에 근접할 수 있습니다. 방어적 SOC 조사(SOC investigation)는 같은 방식으로 스케일링하지 않습니다: 성공 여부는 순수한 추론 예산만보다 규율 있는 도구 사용, 원격 측정 탐색, 그리고 선택적인 보강에 더 크게 의존합니다. 우리는 보안 에이전트 벤치마크가 작업 성공률과 함께 경제적 효율성과 운영 적합성(operational fit)을 측정해야 한다고 주장합니다. 비용 인지형의 SOC 네이티브 평가(SOC-native evaluations)는 오늘날 어떤 모델이 실질적으로 유용하며, 방어 에이전트가 어디를 개선해야 하는지에 대해 더 명확한 그림을 제공합니다. 우리의 결과와 함께 상호작용 웹사이트 https://evals.frontier.security를 제시합니다.