REFORGE: 디컴파일된 바이너리 함수 명명에 대한 LLM의 리버스 엔지니어링 역량 벤치마킹 방법론
요약
본 논문은 LLMs의 리버스 엔지니어링 역량을 공정하게 측정할 수 있는 새로운 방법론인 Reforge를 제안합니다. 기존 벤치마크가 함수 수준 정답 구축에 의존하는 한계를 지적하며, 컴파일러 최적화 하에서의 바이너리-소스 정렬 신뢰성 문제를 해결하고자 합니다.
핵심 포인트
- Reforge는 LLM의 리버스 엔지니어링 역량을 평가하는 새로운 방법론입니다.
- 기존 벤치마크는 함수 수준 정답 구축에 의존하여 공정성이 떨어집니다.
- 제안된 파이프라인은 정렬 불확실성을 3단계 계층화 게이트 신뢰도 깔때기로 운영합니다.
대규모 언어 모델(LLMs)은 리버스 엔지니어링 작업에 점점 더 많이 적용되고 있으며, 최근 위협 인텔리전스 보고서에 따르면 이들이 실제 공격 보안 워크플로우 내에서 작동하고 있는 것으로 나타났습니다. 하지만 이러한 능력에 대한 주장들은 우리가 이를 측정할 수 있는 능력을 앞지르고 있습니다. LLM 지원 바이너리 분석을 위한 기존 벤치마크는 함수 수준의 정답(ground truth) 구축을 해결된 전처리 단계로 간주하며, 몇 개의 함수가 신뢰성 있게 평가될 수 있었는지 공개하지 않은 채 정확도만을 보고합니다. 우리는 공정한 평가를 가로막는 주요 장애물이 모델의 역량 자체가 아니라 컴파일러 최적화 하에서의 바이너리-소스 정렬(alignment)의 신뢰성이라고 주장합니다. 본 논문은 C 소스에서 컴파일, DWARF 및 구문 추출, 정렬, 디컴파일을 거쳐 함수 수준의 정답을 구축하는 출처 추적 파이프라인인 Reforge를 제시하며, 이 파이프라인은 정렬 불확실성을 3단계 계층화가 적용된 8개 게이트 신뢰도 깔때기(confidence funnel)로 운영화합니다. 통제된 마이크로 벤치마크에서 고신뢰도 수율은 최적화 수준에 따라 87.2%에서 65.9%로 떨어지며, 쌍을 이루지 않은 비교는 생존자 편향(survivorship bias)을 통해 최적화로 인한 성능 저하를 과대평가합니다. 함수 명명에 대한 일곱 가지 현대 LLM의 개념 증명 평가는 기저(substrate)를 보여주고 불확실성 인식 벤치마킹 관행을 촉진합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.PL (Programming Languages)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기