Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
LLM이 통합된 소프트웨어 시스템에서 발생하는 'LLM-in-the-loop' 취약점을 분석하기 위해 최초의 데이터셋인 LLMCVE를 제안합니다. 연구 결과, LLM은 취약점의 근본 원인보다는 타겟이나 전파 벡터로 작용하는 경우가 많으며, 기존 에이전트 기반 수정 도구들이 이러한 취약점을 해결하는 데 한계가 있음을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기대규모 언어 모델(Large Language Models, LLMs)은 현대 소프트웨어 시스템의 핵심 구성 요소로서 활발하게 통합되고 있습니다. LLM과 프레임워크와 같은 의존적인 다운스트림(downstream) 구성 요소에 의해 취약점이 도입되는 LLM-in-the-loop 취약점은 새로운 위험을 초래합니다. 이러한 취약점의 영향을 연구하기 위해 일부 벤치마크 데이터셋이 구축되었으나, 대부분의 연구는 여전히 기존 소프트웨어 수준에서의 분석에 머물러 있으며 LLM에 의해 실제로 발생하는 피해는 간과하고 있습니다. 실제 환경에서의 LLM-in-the-loop 취약점을 이해하는 것은 여전히 해결되지 않은 문제입니다. 이러한 격차를 해소하기 위해, 우리는 LLM 통합 소프트웨어의 위험 분석을 용이하게 하는 최초의 LLM-in-the-loop 취약점 데이터셋인 LLMCVE를 구축합니다. 이를 위해, 우리는 먼저 230개의 대중적인 LLM 구성 요소에 걸쳐 2,888개의 다중 소스 취약점을 수집했습니다. 그 후, 수동 분석을 통해 LLM-in-the-loop 취약점 개념에 엄격히 부합하는 205개의 취약점을 식별했습니다. 분석을 통해 우리는 LLM이 이러한 취약점의 근본 원인(root cause)이라기보다는 타겟(target) 또는 전파 벡터(propagation vector)로서 더 자주 작용한다는 것을 발견했습니다. 나아가, LLMCVE를 기반으로 SWE-Agent와 같은 기존 에이전트 기반 취약점 수정 방법들의 수정 능력을 평가합니다. 실험 결과, 기존 소프트웨어 취약점과 비교했을 때 LLM-in-the-loop 취약점은 정밀하게 수정하기가 더 까다로우며, 특히 프롬프트 인젝션(prompt injections)이 포함된 경우 Pass@1 비율이 28.57%에 불과함을 입증했습니다.