Transient Turn Injection: 대규모 언어 모델(LLM)의 상태 비저장 다중 턴 취약점 노출

대규모 언어 모델(Large language models, LLMs)은 민감한 워크플로우에 점점 더 통합되고 있으며, 이는 적대적 강건성(adversarial robustness)과 안전성에 대한 중요성을 높이고 있습니다. 본 논문은 Transient Turn Injection(TTI)이라는 새로운 다중 턴 공격 기법을 소개합니다. 이 기법은 고립된 상호작용 전반에 걸쳐 적대적 의도(adversarial intent)를 분산시킴으로써 상태 비저장(stateless moderation)의 취약점을 체계적으로 악용합니다. TTI는 대규모 언어 모델로 구동되는 자동화된 공격자 에이전트(automated attacker agents)를 활용하여, 지속적인 대화 컨텍스트 유지에 의존하는 기존의 탈옥(jailbreak) 접근 방식과는 달리, 상업용 및 오픈 소스 LLM 모두에서 정책 시행을 반복적으로 테스트하고 회피합니다.

OpenAI, Anthropic, Google Gemini, Meta 등 최신 모델과 주요 오픈 소스 대안들을 아우르는 광범위한 평가를 통해, TTI 공격에 대한 상당한 변이성을 발견했으며, 일부 선택된 아키텍처만이 실질적인 내재적 강건성(inherent robustness)을 보여주었습니다. 또한, 저희의 자동화된 블랙박스 평가 프레임워크는 특히 의료 및 고위험 도메인에서 이전에 알려지지 않았던 모델별 취약점과 공격 표면 패턴(attack surface patterns)을 발견했습니다. 나아가 TTI를 기존의 적대적 프롬프팅 방법론과 비교하고, 세션 레벨 컨텍스트 집계(session level context aggregation) 및 심층 정렬 접근법(deep alignment approaches)과 같은 실용적인 완화 전략(mitigation strategies)을 상세히 설명합니다. 본 연구는 LLM 배포를 미래 지향적으로 만들기 위해 전체적이고 컨텍스트 인식적인 방어 메커니즘(context aware defenses)과 지속적인 적대적 테스트가 시급함을 강조하며, 진화하는 다중 턴 위협에 대비해야 함을 보여줍니다.