대규모 언어 모델(LLM) 취약성의 라이프사이클 및 애플리케이션 스택 조사: 공격, 리스크, 방어 및 미결 과제
요약
LLM이 자율 에이전트 및 다양한 애플리케이션 스택으로 통합됨에 따라 발생하는 보안 취약성을 라이프사이클 관점에서 체계적으로 분석한 연구입니다. 데이터 수집부터 배포까지 8단계의 공격 경로를 분류하고, 각 단계별 리스크와 방어 전략 및 향후 연구 과제를 제시합니다.
핵심 포인트
- LLM 보안 리스크를 데이터, 프롬프트, 도구, 메모리 등 전체 애플리케이션 스택으로 확장하여 분석
- 공격 단계를 데이터 수집부터 배포/유지보수까지 8가지 라이프사이클로 체계화
- 기밀성, 무결성, 안전성 등 LLM 특유의 보안 목표와 취약성 간의 매핑 제공
- 구성적 보안 및 도구 호출 격리 등 보안 LLM 시스템을 위한 향후 연구 과제 제안
대규모 언어 모델(Large Language Models, LLM)은 더 이상 단순한 텍스트 생성기에 머물지 않습니다. 이들은 검색 파이프라인(retrieval pipelines), 기업용 어시스턴트, 코딩 환경, 로봇 시스템, 보안 운영 워크플로우, 그리고 개인 데이터를 읽고, 도구를 호출하며, 파일을 작성하고, 코드를 실행하며, 조직의 경계를 넘어 활동할 수 있는 자율 에이전트(autonomous agents)에 점점 더 깊숙이 통합되고 있습니다. 이러한 변화는 보안 문제를 변화시킵니다. 리스크는 모델 가중치(model weights) 자체에서만 발생하는 것이 아니라, 데이터, 프롬프트(prompts), 모델 출력, 도구, 메모리, 그리고 사용자 권한이 상호작용하는 전체 라이프사이클(lifecycle)과 애플리케이션 스택(application stack)을 통해 발생합니다. 본 논문은 라이프사이클 및 애플리케이션 스택의 관점을 통해 대규모 언어 모델 시스템의 취약성에 관한 문헌을 체계화합니다. 우리는 공격을 데이터 수집(data collection), 사전 학습(pretraining), 사후 학습 정렬(post-training alignment), 모델 패키징 및 공급망(model packaging and supply chain), 검색 및 메모리(retrieval and memory), 프롬프팅 및 추론(prompting and inference), 도구/에이전트 실행(tool/agent execution), 그리고 배포/유지보수(deployment/maintenance)의 8단계로 분류합니다. 각 단계에 대해 공격자의 역량, 영향을 받는 보안 목표, 대표적인 공격, 실질적인 리스크, 평가 관행 및 방어책을 분석합니다. 나아가 LLM 특유의 취약성을 기밀성(confidentiality), 무결성(integrity), 가용성(availability), 안전성(safety), 개인정보 보호(privacy), 공정성(fairness), 책임성(accountability), 그리고 에이전시 제어(agency-control) 목표에 매핑합니다. 고립된 공격 명칭만을 나열하는 분류 체계와 달리, 제안된 체계화 방식은 신뢰 경계(trust boundaries)가 어디에서 무너지는지, 신뢰할 수 없는 데이터가 어떻게 실행 가능한 명령어가 되는지, 위임된 권한이 어떻게 모델의 오류를 증폭시키는지, 그리고 왜 개별적인 방어책들이 결합되기 어려운지를 강조합니다. 마지막으로 구성적 보안(compositional security), 출처 인식 검색(provenance-aware retrieval), 도구 호출 격리(tool-call containment), 장기적 에이전트 평가(long-horizon agent evaluation), 개인정보 보호 적응(privacy-preserving adaptation), 현실적인 레드팀 활동(realistic red teaming), 그리고 배포 단계의 사고 대응(deployment-grade incident response)을 포함한 보안 LLM 시스템을 위한 연구 과제를 제시하며 마무리합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기