요약

본 기술 기사는 모델의 취약한 입력 처리 능력을 테스트하기 위해 '프롬프트 주입(Prompt Injection)' 벤치마크를 개발하고 그 결과를 분석합니다. 특히, 신뢰할 수 없는 웹 문서를 다룰 때 발생하는 프롬프트 주입 공격에 대한 방어책으로 '랜덤 구분자(delimiter) 사용'과 '엄격한 지침(strict prompt)'을 결합하는 방법을 제안했습니다. 테스트 결과, 이 두 가지 방어 기법을 함께 적용했을 때 Gemma 4 E4B와 같은 모델의 방어율이 현저히 높아져 최고 100%에 도달했으며, 이는 기존 대비 매우 큰 성능 향상을 보여주었습니다.

핵심 포인트

• 프롬프트 주입 공격은 특히 웹 문서처럼 모델이 직접 읽고 이해해야 하는 비정형 데이터에서 가장 많이 발생합니다.
• 랜덤 구분자(delimiter)를 사용하여 신뢰할 수 없는 콘텐츠를 감싸고, 이를 지침으로 실행하지 않도록 명시하는 것이 효과적인 방어책입니다.
• 단순히 구분자를 사용하는 것만으로도 많은 모델의 방어율이 크게 향상되지만, '엄격한 프롬프트(strict prompt)'를 추가하면 가장 까다로운 공격 유형까지 100%에 가깝게 막아낼 수 있습니다.
• 테스트 결과, 이 결합된 방어 메커니즘은 GPT-4o나 DeepSeek V4 Flash 같은 최신 모델들보다도 높은 성능을 보여주었습니다.