세 개의 머리가 하나보다 낫다: 취약점 탐지 성능 향상을 위한 다각적 추론 프레임워크

요약

ReasonVul은 단일 추론 방식의 한계를 극복하기 위해 세 개의 특화된 LLM 에이전트가 협력하는 다각적 추론 프레임워크를 제안합니다. 이 시스템은 독립적 분석, 토론 메커니즘, 협력적 판단 과정을 통해 코드 내 취약점을 탐지하며, PrimeVul 및 JITVUL 데이터셋에서 기존 베이스라인을 크게 상회하는 성능을 입증했습니다.

핵심 포인트

• 세 개의 특화된 LLM 에이전트 간의 인지적 시너지를 활용한 다각적 추론 프레임워크 제안
• 반복적인 반박과 수정을 포함하는 구조화된 토론 메커니즘을 통해 갈등 해결 및 오류 수정
• PrimeVul 데이터셋에서 PairAcc 40.00%, F1-score 72.52% 달성
• JITVUL 데이터셋 테스트를 통해 다양한 환경에서의 일반화 가능성 확인
• 토론 메커니즘을 통해 542개의 갈등 사례 중 389개를 올바르게 해결하며 취약점 탐지 능력 입증