비평가들이 의견이 일치하지 않을 때: RIS 지원 무선 제어 시스템에서의 적응형 보상 오염 공격

보상 오염 (Reward-poisoning) 공격은 학습 기반 무선 제어 시스템에 상당한 위험을 초래합니다. 이를 고려하여, 본 논문에서는 Soft Actor-Critic (SAC) 에이전트를 대상으로 하는 불일치 유도 보상 오염 (Disagreement-Guided Reward Poisoning, DGRP) 적응형 공격을 제안합니다. 재구성 가능한 지능형 표면 (Reconfigurable Intelligent Surfaces, RIS)의 지원을 받는 인지 무선 네트워크 (Cognitive Radio Network, CRN) 환경에서, SAC 에이전트는 SU 송신기의 전송 전력과 RIS 위상 변화 (phase shifts)를 동시에 최적화함으로써 2차 사용자 (Secondary Users, SUs)의 장기적인 전송률을 최대화하는 과업을 수행합니다. DGRP는 특히 SAC의 이중 비평가 (dual critics)가 상당한 불일치를 보일 때, 즉 영향력이 크고 불확실성이 높은 상태에서 보상을 오염시켜 가치 추정 (value estimations)을 왜곡하고 정책 (policy)을 차선책 (suboptimal actions)으로 유도합니다. 연구 결과, DGRP는 일반적으로 RIS가 제공하는 성능 향상을 실질적으로 감소시키고 전송 품질을 저하시킨다는 것을 입증했습니다. 나아가 우리는 주요 공격 파라미터를 조사하고 이것이 학습에 미치는 영향을 결정했습니다. 주기적 타이밍 (periodic-timing) 및 탐색 트리거 (exploration-triggered) 베이스라인과 비교했을 때, DGRP는 일관되게 더 큰 피해를 입혔으며, 이는 RIS 지원 네트워크에서 심층 강화학습 (Deep Reinforcement Learning, DRL)의 강건성 (robustness)을 평가할 때 불일치 인지 위협 (disagreement-aware threats)을 고려해야 할 필요성을 강조합니다.