Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 LLMs의 리버스 엔지니어링 역량을 공정하게 측정할 수 있는 새로운 방법론인 Reforge를 제안합니다. 기존 벤치마크가 함수 수준 정답 구축에 의존하는 한계를 지적하며, 컴파일러 최적화 하에서의 바이너리-소스 정렬 신뢰성 문제를 해결하고자 합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.PL (Programming Languages)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기대규모 언어 모델(LLMs)은 리버스 엔지니어링 작업에 점점 더 많이 적용되고 있으며, 최근 위협 인텔리전스 보고서에 따르면 이들이 실제 공격 보안 워크플로우 내에서 작동하고 있는 것으로 나타났습니다. 하지만 이러한 능력에 대한 주장들은 우리가 이를 측정할 수 있는 능력을 앞지르고 있습니다. LLM 지원 바이너리 분석을 위한 기존 벤치마크는 함수 수준의 정답(ground truth) 구축을 해결된 전처리 단계로 간주하며, 몇 개의 함수가 신뢰성 있게 평가될 수 있었는지 공개하지 않은 채 정확도만을 보고합니다. 우리는 공정한 평가를 가로막는 주요 장애물이 모델의 역량 자체가 아니라 컴파일러 최적화 하에서의 바이너리-소스 정렬(alignment)의 신뢰성이라고 주장합니다. 본 논문은 C 소스에서 컴파일, DWARF 및 구문 추출, 정렬, 디컴파일을 거쳐 함수 수준의 정답을 구축하는 출처 추적 파이프라인인 Reforge를 제시하며, 이 파이프라인은 정렬 불확실성을 3단계 계층화가 적용된 8개 게이트 신뢰도 깔때기(confidence funnel)로 운영화합니다. 통제된 마이크로 벤치마크에서 고신뢰도 수율은 최적화 수준에 따라 87.2%에서 65.9%로 떨어지며, 쌍을 이루지 않은 비교는 생존자 편향(survivorship bias)을 통해 최적화로 인한 성능 저하를 과대평가합니다. 함수 명명에 대한 일곱 가지 현대 LLM의 개념 증명 평가는 기저(substrate)를 보여주고 불확실성 인식 벤치마킹 관행을 촉진합니다.