런타임 강제화를 넘어: 적대적 네트워크에 대한 방어 가능성 분석으로서의 실드 합성 (Shield Synthesis)

실드 강화학습 (Shielded reinforcement learning)은 일반적으로 시간 논리 (temporal-logic) 명세를 오토마타 (automata)로 컴파일하여 에이전트의 행동을 제한하는 런타임 안전 메커니즘 (runtime safety mechanism)으로 제시됩니다. 우리는 이것이 잘못된 접근 방식이라고 주장합니다. 명세 컴파일 (specification compilation), 곱 게임 구성 (product game construction), 어트랙터 계산 (attractor computation), 승리 영역 추출 (winning-region extraction)과 같은 동일한 오토마타 이론적 메커니즘은, 배포된 에이전트에 대한 런타임 제약 조건이라기보다는 시스템에 대한 구조적 통찰을 제공하는 설계 시점 (design-time) 분석 도구로 해석하는 것이 더 적절합니다. 우리는 이를 네트워크 방어를 위한 제약된 2인용 안전 게임 (two-player safety game)을 통해 구체화합니다. 두 가지 명세는 비대칭적으로 강제됩니다. 방어자 명세는 게임의 불안전 영역 (unsafe region)을 정의하는 반면, 공격자 명세는 어트랙터 계산 중에 적대자의 합법적 행동을 제한합니다. 게임을 해결하면 방어 가능성 판정 (defensibility verdict) — 즉, 토폴로지-명세 쌍이 방어 가능한지 여부에 대한 공식 인증서 (formal certificate) — 및 관련 승리 영역 (winning region)과 실드 (shield)를 얻을 수 있습니다. 이 이진 판정을 넘어, 우리는 어트랙터 구조로부터 토폴로지 수준의 지표를 도출하고 이를 실드 제약 조건이 적용된 적대적 다중 에이전트 강화학습 (adversarial multi-agent reinforcement learning)의 수렴 후 행동과 결합합니다. 이들은 결합되어 네트워크의 공식적 안전 속성과 적응형 플레이 (adaptive play) 하에서의 운영 행동을 모두 포착하는 방어 가능성 지문 (defensibility fingerprint)을 형성합니다. 가상 분석 (what-if analysis) 결과, 공식적 방어 가능성과 운영 효율성은 보안의 서로 다른 측면을 포착함을 보여줍니다. 즉, 작은 구조적 변화가 공식적인 안전 마진 (safety margins)은 거의 변화시키지 않으면서도 운영 결과에는 큰 변화를 일으킬 수 있습니다. 따라서 실드 합성 (Shield synthesis)은 안전한 에이전트를 위한 배포 메커니즘이 아니라, 시스템을 방어할 수 있는지, 어디서, 그리고 어떻게 방어할 수 있는지에 대한 구조적 질문에 답하기 위한 프레임워크로서 가장 가치가 있습니다. 방어 가능성 판정이 출력물이지, 안전한 정책 (safe policy)이 아닙니다.