도구 신뢰하기: 정적 분석 증거에 대한 LLM 취약점 감사관의 비대칭적 의존성

요약

본 연구는 LLM과 정적 분석을 결합한 취약점 감사 파이프라인의 의존성을 조사했습니다. 모델은 거짓 증거(false guarantees)에 비대칭적으로 크게 의존하는 경향을 보이며, 이는 실제 취약점 탐지율을 현저히 낮춥니다. 주장을 별도의 호출로 검증하고 반박하는 방식이 정확도를 높이는 효과적인 방법으로 제시되었습니다.

핵심 포인트

• LLM은 정적 분석의 거짓 증거에 비대칭적으로 의존하며, 이는 취약점 탐지율을 저해함.
• 거짓 보장은 실제 취약점 탐지율을 최대 19포인트까지 낮추는 것으로 나타남.
• 주장을 별도 호출로 검증/반박하는 방식이 정확도를 높이는 효과적인 방법임 (p=0.002).
• 파이프라인은 모델이 의존하기 전에 도구의 보장(guarantee)을 반드시 검증해야 함.