악성코드 분류, 패킹 탐지 및 패밀리 귀속을 위한 멀티태스크 Mixture of Experts 프레임워크

악성코드 분류(Malware classification)는 악성코드 자체의 이질성, 패킹된 바이너리(packed binaries)의 존재, 그리고 악성코드 패밀리(malware families)의 다양한 분포로 인해 여전히 어려운 문제로 남아 있습니다. 전통적인 단일 모델 탐지 메커니즘은 이러한 다양한 데이터에 대해 일반화하는 데 종종 실패하며, 특히 난독화(obfuscated)되거나 희귀한 악성코드 샘플에서 성능 저하를 초래합니다. 본 연구에서는 Mixture of Experts (MoE) 아키텍처를 기반으로 한 통합 멀티태스크 악성코드 분석 프레임워크를 제안합니다. 제안된 시스템은 두 가지 서로 다른 입력 표현, 즉 고차원 EMBER 특징 세트(high-dimensional EMBER feature sets)와 Portable Executable 파일에서 추출한 원시 1D 바이트 배열(raw 1D byte arrays)에 대해 성능을 평가합니다. 이 시스템은 악성코드 패밀리 분류(malware family classification), 패킹 여부 탐지(packed versus unpacked detection), 그리고 악성코드와 정상 파일 식별(malware versus benign identification)이라는 세 가지 핵심 작업을 동시에 수행합니다. 문제를 전문화된 전문가 네트워크(expert networks)로 분해하고 적응형 게이팅 메커니즘(adaptive gating mechanisms)을 채택함으로써, 모델은 전체적인 확장성(scalability)을 유지하면서도 효과적인 작업별 학습(task-specific learning)을 가능하게 합니다. 우리는 Homogeneous MoE, Heterogeneous MoE, 그리고 Multi-Gate MoE (MMoE)를 포함한 여러 아키텍처 변형을 조사합니다. 성능은 원본 샘플과 변이된(mutated) 샘플을 사용하여 표준 및 적대적(adversarial) 설정 모두에서 평가됩니다. 얻어진 결과에 따르면 Multi-Gate MoE 모델이 가장 우수한 성능을 달성하였으며, 단 $2.56%$의 실패율로 $0.9744$의 결합 탐지율(combined detection rate)에 도달했습니다. 또한, 이 구성은 변이로 인한 분포 변화(distribution shifts) 하에서도 향상된 강건성(robustness)을 보여줍니다. 우리의 연구 결과는 복잡한 악성코드 분포를 처리하는 데 있어 전문가 특화(expert specialization) 및 작업별 라우팅(task-specific routing)의 효과를 강조하며, 제안된 프레임워크가 확장 가능하고 탄력적인 악성코드 탐지 시스템을 위한 유망한 방향임을 시사합니다.