AI 기반 시스템을 위한 침투 테스트 재고찰: 자원 손상에서 행동 목표 위반으로
요약
본 논문은 기존의 인프라 손상 중심 침투 테스트 패러다임을 넘어, AI 기반 시스템에 특화된 목표 지향적 행동 평가로 침투 테스트를 재정의합니다. 공격자가 프롬프트나 데이터를 조작하여 시스템 동작을 변경하는 'AI 기반 침투' 개념을 제시하며, 이를 위한 새로운 테스트 워크플로우와 기술적 프레임워크를 제안합니다.
핵심 포인트
- 침투 테스트가 인프라 손상에서 행동 목표 위반으로 변화해야 함.
- 공격자는 프롬프트 주입, 데이터 오염 등 다양한 경로로 시스템 동작을 변경할 수 있음.
- 새로운 워크플로우는 운영 목표 식별 및 적대적 영향 분석에 중점을 둠.
- AI 기반 보안 운영 센터(SOC) 예시를 통해 행동적 침투의 중요성을 강조함.
침투 테스트는 전통적으로 공격자가 소프트웨어, 인프라, 구성 또는 운영 통제상의 취약점을 악용하여 보안 관련 손상을 입힐 수 있는지 여부를 평가합니다. 이러한 패러다임은 AI 기반 시스템에도 여전히 필요하지만, 더 이상 충분하지 않습니다. 이러한 시스템에서 공격자는 근본적인 인프라를 직접적으로 손상시키지 않으면서 프롬프트, 검색된 콘텐츠, 센서 입력, 훈련 데이터, 메모리, 도구 또는 인간-AI 상호작용 루프에 영향을 미쳐 시스템 동작을 변경할 수 있습니다. 본 논문은 AI 기반 시스템의 침투 테스트를 목표 지향적 행동 평가로 재구성합니다. 우리는 학습 모델이 운영 결과에 영향을 미치는 동작에 실질적으로 영향을 미치는 시스템을 AI 기반 시스템으로 정의하고, 명시적인 위협 모델 하에서 하나 이상의 운영 목표를 위반하는 AI 제어 행동을 실현 가능한 유도(induction)로서의 AI 기반 침투로 정의합니다. 이 정의는 기존의 침투 테스트를 유지하면서 프롬프트 주입(prompt injection), 간접 프롬프트 주입(indirect prompt injection), 데이터 오염(data poisoning), 센서 조작(sensor manipulation), 검색 오염(retrieval poisoning), 도구 오용(tool misuse), 그리고 에이전트 불일치(agentic misalignment)와 같은 적대적 경로로 확장합니다. 나아가, 우리는 운영 목표를 식별하고, AI 제어 행동을 매핑하며, 적대적 영향 표면을 분석하고, 행동 실패 기준을 정의하며, 시나리오 기반 테스트를 실행하고, 적대적 행위와 목표 위반을 연결하는 증거를 보고하는 테스트 워크플로우를 제안합니다. AI 기반 보안 운영 센터(SOC) 비서의 실행 예시는 인프라 손상보다는 행동적 영향을 통해 침투가 발생할 수 있음을 보여줍니다. 종합적으로, 이러한 정의, 워크플로우 및 예시는 배포된 AI 기반 시스템에서 적대적 성공을 평가하기 위한 기술적 프레임워크를 제공합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기