LLM 에이전트 안전성, 다회차 레드팀 테스트(multi-turn red-teaming), 탈옥 벤치마크, 적대적 강건성, 안전 필수 시스템

대규모 언어 모델 (LLM) 에이전트가 안전 필수 시스템 (safety-critical systems)의 감독 구성 요소로서 점점 더 많이 제안되고 있지만, 지속적이고 적응적인 적대적 압박 하에서의 강건성 (robustness)은 여전히 제대로 규명되지 않은 상태입니다. 우리는 시뮬레이션된 원자력 발전소 제어실을 모델로 하여, 안전 필수 시스템의 운영자로 활동하는 LLM 에이전트의 다회차 레드팀 테스트 (multi-turn red-teaming)를 위한 벤치마크인 NRT-Bench를 제시합니다. 각각 구성 가능한 LLM에 의해 지원되는 5인 역할의 운영팀이 6가지 핵심 안전 기능 (CSFs)에 의해 관리되는 발전소를 운영하며, 그동안 적대자는 턴당 피드백이 제공되는 제한된 다회차 세션 내에서 4개의 채널을 통해 메시지를 주입합니다. 여기서 위해 (Harm)는 LLM이 판단하는 텍스트가 아닌 객관적인 신호입니다. 즉, 어떤 CSF라도 상실되는 즉시 해당 세션은 종료되며, 이는 원인이 된 메시지에 기인합니다. 고정 공격 쌍 재현 프로토콜 (fixed-attack paired-replay protocol) 하에서 4개의 최첨단 운영 모델을 평가한 결과, 적응형 다회차 공격이 운영팀을 안전 한계 너머로 안정적으로 밀어붙인다는 것을 발견했습니다. 4개의 모델 전체에 걸쳐, 공격 세션의 8.7%에서 12.1% 사이가 발전소의 핵심 안전 기능 상실로 종료되었습니다. 이러한 집계 비율로 볼 때 4개의 모델은 거의 동일하게 강건해 보이지만, 이들의 실패 지점은 거의 겹치지 않습니다. 149개의 세션 중 4개 모델 모두를 패배시킨 세션은 없었으나, 3분의 1은 최소 하나 이상의 모델을 패배시켰습니다. 즉, 취약점은 모델 간에 중첩되기보다는 거의 분리되어 있습니다. 추가된 방어 기제의 효과는 모델에 따라 크게 달라집니다. 한 모델의 공격 성공률을 낮추는 동일한 가드레일 스택 (guardrail stack) 또는 안전 어드바이저 에이전트 (safety-advisor agent)가 다른 모델에서는 오히려 공격 성공률을 높일 수 있습니다. 우리는 LLM 에이전트의 재현 가능한 안전 평가를 위해 시뮬레이션 환경, 공격 데이터셋 및 재현 도구를 공개합니다.