강화학습 (RL)이 경사 기반 적대적 최적화 (Gradient-Based Adversarial Optimization)를 방해하다

경사 기반 (Gradient-based) 적대적 공격은 적대적 섭동 (adversarial perturbations)을 효율적으로 최적화하기 위해 경사 (gradient) 정보를 활용하기 때문에, 심층 신경망 (DNNs)에 대한 지배적인 위협으로 남아 있습니다. 이를 해결하기 위해, 본 연구에서는 정책 경사 (policy-gradient) 목적 함수와 엡실론-그리디 탐색 (epsilon-greedy exploration)을 사용하여 이미지 분류기를 학습시킴으로써, 강화학습 (RL) 학습이 공격자가 사용하는 경사 구조를 방해할 수 있는지 조사합니다. 다양한 아키텍처를 사용하여 CIFAR-10, CIFAR-100, ImageNet-100에 걸쳐 체계적인 실험을 수행한 결과, RL로 학습된 분류기가 경사 기반 적대적 최적화를 상당히 방해한다는 것을 발견했습니다. 이를 설명하기 위해 손실 지형 (loss landscape) 시각화, 정적 및 동적 경사 지표 (static and dynamic gradient indicators), 그리고 예측 엔트로피 (predictive entropy)를 사용하여 종합적인 메커니즘 분석을 수행합니다. 우리의 분석에 따르면 RL은 암묵적 정규화제 (implicit regularizer)로 작용하여, 매우 불안정한 경사 방향과 더 작은 경사 크기를 가진 모델을 생성합니다. 이러한 조합은 각 PGD 단계를 방향 측면에서 신뢰할 수 없게 만들고 크기를 제한하여, 경사 기반 공격이 실질적인 반복 예산 (iteration budgets) 내에서 실패하게 만듭니다. 나아가 우리는 RL을 적대적 학습 (adversarial training)과 결합하는 것 (RL-adv)이 두 가지 상호 보완적인 수준에서 작동하는 이중 계층 방어를 제공함을 보여줍니다: RL은 공격자가 사용할 수 있는 경사 정보를 저하시키고 (경사 수준 방어, gradient-level defense), 적대적 학습은 결정 경계 (decision boundaries)를 강화합니다 (경계 수준 방어, boundary-level defense). RL-adv는 경사 기반 (PGD, AutoAttack), 전이 기반 (transfer-based), 쿼리 기반 (query-based) 공격을 포함하여 평가된 모든 주요 공격 유형에 대해 가장 높은 강건성 (robustness)을 달성하였으며, SL-adv를 상당한 차이로 능가했습니다. 이러한 발견은 RL에 의한 경사 방해를 상호 보완적인 강건성 메커니즘으로 식별하며, SL의 효율성과 RL의 경사 정규화 (gradient-regularization) 특성을 결합한 하이브리드 SL-RL 학습 스케줄에 대한 향후 연구를 촉진합니다.