뉴로심볼릭 자율 사이버 에이전트를 위한 관찰 기반 레드 에이전트 정책 학습

정교한 사이버 공격이 점점 더 만연해짐에 따라, 현대의 네트워크는 강화학습 (Reinforcement Learning (RL))을 통해 훈련된 지능형 자율 사이버 방어 에이전트를 필요로 합니다. 이러한 에이전트들은 학습 가능 구성 요소 (Learning-Enabled Components (LECs))를 포함한 행동 트리 (Behavior Trees)와 같은 뉴로심볼릭 (Neurosymbolic) 접근 방식을 채택하여, 핵심 운영을 유지하면서 보안 규칙을 학습, 추론, 적응 및 구현합니다. 그러나 이러한 자율 네트워크는 부분 관측 가능 시스템 (Partially Observable Systems)입니다. 즉, 사이버 공격자 (레드 에이전트 (Red Agent))의 행동은 관측할 수 없으며, 이로 인해 방어자가 레드 에이전트의 행동을 예측하거나, 레드 정책을 학습하거나, 공격자의 침입 수준을 평가하는 것이 어렵습니다. 이를 해결하기 위해, 우리는 이산 상태 (Discrete States)와 이산 행동 (Discrete Actions)을 가진 부분 관측 가능 RL 에이전트를 위한 정책을 학습하기 위해 모방 학습 (Imitation Learning)을 사용하는 정책 학습 기술을 제안합니다. 우리는 이 기술을 자율 사이버 환경에 적용하여 네트워크 관찰 및 방어자 행동으로부터 레드 에이전트의 행동을 예측합니다. 뉴로심볼릭 사이버 방어 에이전트와 통합된 우리의 방법은 다양한 레드 정책을 효과적으로 처리하며, 다양한 시뮬레이션 시나리오 전반에서 높은 예측 정확도를 달성합니다.