AI 보안의 Stackelberg 모델에서의 방어적 충분성

자동화된 테스트, 인간 레드팀(red teaming), 사고 대응으로부터 얻은 피드백은 발견된 실패가 효과적인 수리로 이어질 때 AI 시스템의 방어를 강화할 수 있습니다. 우리는 이 피드백 프로세스가 언제 충분한 보호를 제공하는지, 그리고 여기에 투자하는 것이 경제적으로 가치가 있는지 연구합니다. 먼저, 유한한 수의 입력으로 구성된 공격 표면(attack surface)이 모든 미해결 공격이 지속적인 발견 가능성을 가지고, 수리가 효과적이며, 후속 업데이트가 이전의 보호를 유지할 경우 확률 1로 방어된다는 것을 보여줍니다. 우리는 완료 시간 경계(completion-time bounds)를 도출하고, 분석을 성장하는 공격 표면, 관련 공격 전반에 걸쳐 일반화되는 수리, 그리고 다중 발견 메커니즘으로 확장합니다. 이러한 결과들은 고정된 각 공격에 대한 궁극적인 보호와 단일 시점에서의 완전한 보호를 구별합니다. 다음으로, 우리는 방어자가 선제적 발견과 반응적 수리에 투자하고 공격자의 탐색 노력(search effort) 선택을 예측하는 방어자 주도 Stackelberg 게임을 공식화합니다. 우리는 공격을 억제하는 최소 비용 할당과, 방어자가 어떠한 역량에도 자금을 지원하지 않거나, 한 가지 역량 또는 두 가지 모두에 자금을 지원하는 평형 영역(equilibrium regimes)들을 특성화합니다. 수치적 실험들은 이러한 영역들을 보여주며, 더 빠른 수리가 공격 확률을 줄이지 않으면서도 침해 기간을 단축할 수 있음을 보여줍니다. 생성 언어 모델의 성능 한계에 대한 통합 이론.