실패로부터 배우기: LLM 기반 취약점 분석을 위한 실패 주도 프롬프트 개선

대규모 언어 모델(LLM)은 소프트웨어 취약점 분석에 유망한 도구로 부상했지만, 그 효과는 프롬프트 설계에 크게 좌우됩니다. 기존 연구들은 주로 집계된 성능 지표를 사용하여 프롬프팅 전략을 비교할 뿐이며, 모델이 왜 실패하는지 또는 프롬프트를 체계적으로 어떻게 개선할 수 있는지에 대한 통찰은 제한적입니다. 본 논문에서는 Failure-Driven Prompt Refinement (FDPR)이라는 방법론을 제안합니다. 이 방법론은 반복되는 모델 실패를 분석하여 증거 기반의 프롬프트 개선을 안내합니다. Damn Vulnerable Java Application (DVJA)을 사용하여, 우리는 오탐(false positives), 미탐(false negatives), 지원되지 않는 추론(unsupported reasoning), CWE 오분류 등 반복적인 실패 모드를 식별하고 이를 목표 지향적인 프롬프트 개선으로 변환합니다. 그런 다음, 우리는 Juliet Test Suite에서 결과로 나온 프롬프트를 평가하고 일반화 가능성을 평가하기 위해 크로스 모델 검증을 수행합니다. 그 결과는 실패 주도 개선이 LLM 기반 취약점 분석의 신뢰도를 향상시키며 재사용 가능한 프롬프트 설계 원칙을 제공함을 보여줍니다. 더 넓게 보면, 이 연구는 반복되는 모델 실패가 프롬프트 엔지니어링에 대한 원칙적인 토대를 제공하며, 보다 신뢰할 수 있는 LLM 기반 취약점 분석 시스템의 체계적인 개발을 가능하게 함을 입증합니다.