토큰은 어디로 가는가? 취약점 발견을 위한 LLM 에이전트의 비용 이해 및 절감

요약

본 연구는 LLM 에이전트가 취약점 발견 과정에서 막대한 토큰 비용을 소모하지만, 기대만큼의 결과물을 내지 못하는 문제를 진단했습니다. 분석 결과, 코드 이해 및 취약점 추론 단계에 가장 큰 병목 현상이 있음을 밝혀냈습니다. 이에 따라 증거를 구축하고 재사용하도록 돕는 새로운 에이전트 인터페이스 AVRI를 제안하여 비용 효율성을 크게 개선했습니다.

핵심 포인트

• LLM 에이전트는 취약점 발견 시 막대한 토큰을 소모하나, 결과물은 기대에 미치지 못함.
• 토큰 지출의 주요 병목 현상은 코드 위치 파악 및 이해, 취약점 추론 단계임.
• 제안된 AVRI는 증거를 구축하고 재사용하도록 설계되어 비용 효율성을 높임.
• AVRI 적용 시 Codex와 OpenCode의 총 비용을 각각 18.0%, 23.7% 감소시키면서 성능 유지/개선.