EvoRepair: 경험 기반 자기 진화를 통한 취약점 수정 에이전트 강화
요약
EvoRepair는 LLM의 취약점 수정 능력을 강화하기 위해 경험 기반의 자기 진화형 프레임워크를 제안합니다. 과거의 수정 궤적에서 지식을 추출하고 저장소를 업데이트하는 순환적 학습 프로세스를 통해 유사한 실수를 방지하고 성능을 극대화합니다.
핵심 포인트
- 경험 기반 자기 진화형 AVR 에이전트 프레임워크 제안
- 수정 궤적 추출 및 품질 인식 점수 기반 경험 저장소 업데이트
- PATCHEVAL 93.47%, SEC-bench 87.00%의 높은 성능 달성
- 기존 LoopRepair 및 Live-SWE-Agent 대비 우수한 성능 입증
대규모 언어 모델 (LLMs)은 자동 취약점 수정 (AVR) 분야에서 가능성을 보여주었으나, 취약점 내부의 경험 축적 부족 및 취약점 간 경험 재사용 부족을 포함한 몇 가지 한계에 여전히 직면해 있습니다. 그 결과, LLMs는 반복적인 수정 과정에서 유사한 실수를 반복할 수 있으며, 과거 취약점으로부터 얻은 가치 있는 수정 지식을 충분히 활용하지 못할 수 있습니다. 이러한 과제를 해결하기 위해, 우리는 장기적인 취약점 수정 과정 전반에 걸쳐 LLMs가 도메인 특화 지식을 축적, 정제 및 활용할 수 있도록 하는 최초의 경험 기반 자기 진화형 AVR 에이전트 프레임워크인 EvoRepair를 제안합니다. EvoRepair는 수정을 가이드하기 위해 관련 과거 경험을 검색하고, 수정 궤적 (repair trajectories)으로부터 새로운 경험을 추출하며, 품질 인식 점수 산정 (quality-aware scoring)을 사용하여 경험 저장소 (experience bank)를 업데이트하는 순환적 학습 및 수정 (learn-and-repair) 프로세스를 따릅니다. 우리는 GPT-5-mini를 사용하여 PATCHEVAL 및 SEC-bench에서 12개의 대표적인 취약점 수정 베이스라인과 EvoRepair를 비교 평가했습니다. 결과에 따르면 EvoRepair는 PATCHEVAL에서 93.47%, SEC-bench에서 87.00%, 전체적으로 90.46%를 달성하며 최고의 전반적인 성능을 보여주었습니다. 특히, EvoRepair는 최신 LLM 기반 베이스라인인 LoopRepair보다 PATCHEVAL에서 39.56%, SEC-bench에서 33.50% 더 높은 성능을 보였으며, IntentFix를 70.86% 및 50.50% 차이로 앞질렀습니다. 두 벤치마크 모두에서 EvoRepair는 최근의 자기 진화형 에이전트인 Live-SWE-Agent보다 전반적으로 6.98% 높은 성능을 기록했습니다. VUL4J에 대한 추가적인 전이 실험 (transfer experiments)은 모델, 프로그래밍 언어 및 데이터셋 전반에 걸친 EvoRepair의 견고함을 더욱 입증합니다. 이러한 발견은 경험 기반의 자기 진화가 에이전트 기반의 AVR을 실질적으로 강화하며, 기존의 자기 진화 기술을 뛰어넘는다는 것을 보여줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기