ShallowDefend: 다중 턴(Multi-Turn) 방어자를 위한 얕은 안전 정렬 활용

원문 발행 2026. 10. 30. 02:56원문 언어 영어AI 한국어 번역arXiv cs.CL 원문 보기

요약

기존 LLM의 안전 정렬 기능은 다중 턴 대화에서 취약성을 보입니다. 본 연구는 'Assess $\to$ Decide $\to$ Respond' 프레임워크를 제안하여, 방어자가 사용자의 의도를 평가하고 명시적인 안전 결정(Commit)을 내린 후 응답을 생성하도록 합니다. 이 방식은 RL로 학습되어 다중 턴 환경에서 강력한 안전성을 달성했습니다.

핵심 포인트

기존 안전 기능의 '얕음'이 다중 턴 대화의 취약점 원인입니다.
'Assess $\to$ Decide $\to$ Respond' 프레임워크를 통해 명시적이고 파싱 가능한 결정 지점을 만듭니다.
안전 결정 자체를 RL로 학습하여 인과적인 제어점(causal control point)으로 활용합니다.
다중 턴 환경에서 안전성을 강화하면서도 유용성을 유지하는 성능을 입증했습니다.

안전 정렬(Safety alignment) 덕분에 대규모 언어 모델(LLM)은 유해한 요청을 직접적으로 거부하는 것이 가능해졌지만, 동일한 요청이 다중 턴(multi-turn) 대화에 걸쳐 분산되면 여전히 너무 자주 성공합니다. 이러한 취약성은 기계적인 근원을 가지고 있습니다: 안전 기능이 얕고(shallow), 안전 행동이 모델의 처음 몇 개의 출력 토큰에 집중되어 있으며, 기존 방어 메커니즘들은 응답의 표면적 형태만을 감독할 뿐, 모델에게 학습할 명시적인 안전 결정 지점을 제공하지 못합니다. 우리는 이러한 '얕음'과는 반대되는 관점을 취합니다: 만약 짧은 구간이 전체 응답의 궤적을 결정한다면, 그 구간이야말로 개입하기 가장 영향력이 큰 지점이며, 방어자는 그곳을 선점할 수 있습니다. 우리는 Assess $ o$ Decide $ o$ Respond라는 프레임워크를 제안합니다. 이 프레임워크에서 방어자는 사용자의 의도를 평가하고(assess), 명시적이고 파싱 가능한 안전 결정에 전념한 다음(commit), 이를 조건으로 삼아 응답을 생성하며, 이 전념 과정은 페이로드 턴(payload turn)에서 강화학습(RL)을 통해 학습됩니다. 결정 자체가 토큰 구간이기 때문에 보상 함수는 규칙(rule)일 수 있습니다. 자체 검증 보상은 커밋된 레이블을 대화의 알려진 특성과 비교하여 확인하며, 심판이나 주석이 필요하지 않습니다. 또한 이 형식은 안전한 리디렉션과 함께 등급별 결정 공간에 대한 LLM-as-judge 방식의 보상도 지원합니다. 안전성, 유용성(utility), 도움 정도를 아우르는 14개의 벤치마크와 2개 모델 패밀리 전반에 걸쳐, 우리의 방어자는 통제된 비교 환경에서 가장 강력한 다중 턴 안전성을 달성했으며, 도움 정도에는 적은 비용을 지불하면서도 유용성을 유지하는 동시에 안전성 리드를 지켜냈습니다. 토큰별 KL 분석과 개입 탐색(interventional probes)은 이 방식이 작동하는 이유를 확인시켜줍니다: 학습은 응답의 궤적을 설정하는 짧은 숙고 과정에 그 효과를 집중시키며, 그곳에서 전념된 결정은 인과적인 제어점(causal control point)입니다. 공격자들이 악용하는 바로 그 '얕음'이 방어 메커니즘이 되는 것입니다.

AI 자동 생성 콘텐츠

원문 바로가기

ShallowDefend: 다중 턴(Multi-Turn) 방어자를 위한 얕은 안전 정렬 활용

요약

핵심 포인트

댓글