Revelio: 저장소 규모의 코드베이스를 위한 비용 효율적인 에이전트 기반 메모리 안전 취약점 탐지

메모리 안전 취약점(Memory safety vulnerabilities)은 광범위한 퍼징(fuzzing)과 수동 감사(manual auditing)를 수행하는 프로젝트에서도 여전히 중대한 위협으로 남아 있습니다. 최근의 결과들은 대규모 언어 모델(LLM)이 이러한 취약점을 탐지하는 데 큰 가능성을 가지고 있음을 시사하지만, 이들은 신뢰할 수 없고 환각(hallucination)의 위험이 있으며, 저장소 규모의 코드베이스로 확장하기가 어렵습니다. 본 논문은 메모리 안전 취약점 발견을 위한 비용 효율적인 엔드투엔드(end-to-end) 에이전트 기반 프레임워크인 Revelio를 제시합니다. Revelio는 결정론적 새니타이저(deterministic sanitizer)로 확인되는 실행 가능한 취약점 증명(Proof-of-Vulnerability)을 생성함으로써 환각 문제를 해결합니다. 또한, 저렴한 LLM과 경량 정적 분석(lightweight static analysis)을 사용하여 취약점 가설을 생성하고 순위를 매김으로써 비용을 절감하며, 새니타이저에 의해 재현 및 확인될 수 있는 경우에만 취약점을 보고합니다. 우리는 5년에서 8년 동안 지속적으로 퍼징이 수행된 7개의 프로덕션 품질 프로젝트와 CyberGym 벤치마크에서 무작위로 선정된 100개의 Arvo 프로젝트를 대상으로 Revelio를 평가했습니다. 프로젝트당 약 1시간의 시간과 총 300달러의 비용으로, Revelio는 이전에 알려지지 않았던 19개의 메모리 안전 취약점을 발견했습니다. 벤치마크에서 Revelio는 유사한 토큰 비용 대비 다양한 백본 모델(backbone models)을 사용하는 프런티어 코딩 에이전트(frontier coding agents)보다 뛰어난 성능을 보였습니다. 우리의 결과는 Revelio가 확장 가능하고 신뢰할 수 있는 엔드투엔드 LLM 기반 메모리 안전 취약점 탐지를 가능하게 함을 시사합니다.