OASIF: LLM 기반 어셈블리 코드 명령어 준수 및 이해를 위한 효율적인 난독화 인식 자기 개선 프레임워크

대규모 언어 모델 (LLMs)은 최근 자동화된 바이너리 분석 분야에서 가능성을 보여주었으나, 상용 수준의 난독화 (obfuscation) 하에서는 여전히 취약한 모습을 보입니다. 본 논문에서는 난독화된 어셈블리 이해를 위한 난독화 인식 자기 진화 명령어 준수 프레임워크인 OASIF를 제안합니다. OASIF는 토큰 효율적인 어셈블리 인코더 (assembly encoder)를 경량 프로젝터 (projectweight projector)와 결합하여, 제한된 컨텍스트 예산 (context budget) 내에서 긴 난독화 코드를 사전 학습된 코드 LLM에 노출시키며, 다음의 3단계 학습 과정을 따릅니다: (i) 특징 공간 정렬 (feature-space alignment), (ii) 지도 학습 기반 명령어 미세 조정 (supervised instruction fine-tuning), (iii) 하이브리드 보상을 활용한 온라인 자기 진화 강화학습 (online self-evolving reinforcement learning). 이를 통해 최소한의 수동 검증만으로 지속적인 적응을 가능하게 합니다. 세 가지 상용 VM 기반 난독화 도구를 포함하는 도전적인 분포 외 (out-of-distribution) 벤치마크인 VMISA-Bench에서, OASIF는 오픈 소스 백본 모델들의 성능을 일관되게 향상시킵니다. 구체적으로 Qwen2.5-Coder-Instruct-14B는 Code Virtualizer, Themida (v3.0.7), VMProtect (v3.5)에서 각각 +15.9, +5.8, +16.9 퍼센트 포인트 (pp)의 성공률 (Success Rate) 향상을 달성하였으며, OASIF-Bench 평균을 +9.8 향상시켰습니다. 또한 OASIF는 HumanEval, VulBench, HumanEval-Decompile에서의 일반적 및 도메인 관련 능력을 유지하면서, 7개의 표준 BCSD 벤치마크 전반에 걸쳐 안정적인 성능 향상을 제공합니다.