악성코드와 탐지 모델의 적대적 공진화: 이계수준 최적화 관점

요약

본 논문은 기계 학습 기반 악성코드 탐지기가 적응형 공격자에게 취약한 문제를 다루며, 방어자와 공격자의 전략적 상호작용을 모델링하기 위해 이계수준 최적화(bilevel optimization) 기반의 견고한 방어 프레임워크를 제안합니다. MAB-malware 프레임워크로 세 가지 악성코드 계열에 대한 실험 결과, 기존 방법들이 높은 우회율을 보이는 반면, 제안된 이계수준 최적화 접근법은 거의 완전한 면역성을 달성하여 탐지 시스템의 탄력성을 크게 향상시켰습니다. 이는 적대적 위협에 대응하기 위해 공격과 방어의 반복 주기를 모델링하는 것이 필수적임을 시사합니다.

핵심 포인트

• 기존 악성코드 탐지기는 강화 학습을 사용하는 적응형 공격자에게 취약하며, 전통적인 방어 기법으로는 한계가 있습니다.
• 본 연구는 방어자와 공격자의 상호작용을 모델링하는 이계수준 최적화(bilevel optimization) 기반의 견고한 프레임워크를 제시합니다.
• 제안된 접근법은 Mokes, Strab, DCRat 등 다양한 악성코드 계열에서 우회율을 90% 수준에서 1.89% 이하로 극적으로 낮추는 높은 면역성을 입증했습니다.
• 이계수준 최적화 프레임워크를 사용함으로써 공격자가 성공적인 우회를 시도하는 평균 비용(쿼리 복잡성)이 크게 증가하여 방어 효과가 강화됩니다.