검증 가능한 악성코드 탐지: 회피 공격에 대한 수학적 보장

기존의 머신러닝 기반 정적 악성코드 탐지 모델들은 적대적 회피 기법, 특히 메타모픽 엔진(metamorphic engine) 변이와 같은 공격에 매우 취약하다는 문제가 있었습니다. 이러한 보안 취약점을 근본적으로 해결하기 위해, 본 연구에서는 '랜덤화 스무딩(randomized smoothing)'을 기반으로 하는 검증 가능한(certifiably robust) 악성코드 탐지 프레임워크를 제안합니다.

제안된 시스템의 핵심 작동 원리는 다음과 같습니다. 먼저 분석할 실행 파일에 대해 여러 개의 특징 제거 변형체(ablated variants)를 생성합니다. 이후, 이 변형체들을 '평활화된 분류기(smoothed classifier)'를 사용하여 분류하고, 최종 레이블은 모든 투표 결과의 다수결(majority vote)로 결정됩니다. 더욱 중요한 것은, 시스템이 단순히 예측만 하는 것을 넘어, 분석된 최고 클래스 투표 분포와 'Wilson 점수 간격(Wilson score interval)'을 면밀히 분석하여 공식적인 인증서(formal certificate)를 도출한다는 점입니다. 이 인증서는 특정 반경 내의 특징 공간 교란에 대해 탐지 모델이 얼마나 강건한지를 수학적으로 보장합니다.

평가 과정에서는 PyMetaEngine과 같은 도구를 사용하여 생성된 깨끗한 실행 파일(clean executables)과 변형체들을 비교 분석했습니다. 그 결과, 제안된 평활화된 분류기는 기반 머신러닝 아키텍처 자체를 수정할 필요 없이도 메타모픽 회피 공격에 대해 검증 가능한 강건성을 성공적으로 제공함을 입증하였습니다. 이는 악성코드 탐지 분야에서 모델의 신뢰성과 보안성을 한 단계 끌어올리는 중요한 진전입니다.

이 연구는 단순히 높은 정확도를 달성하는 것을 넘어, '왜' 그 예측이 맞는지 수학적 근거를 제시함으로써, AI 기반 보안 시스템에 대한 산업계와 학계의 신뢰도를 높이는 데 기여합니다.