LLM Safety Has a Language Gap

이번 주 AI 안전성 관련 결과 중 가장 불편했던 것 중 하나는 더 큰 모델이 극적인 행동을 하는 것에 관한 것이 아니었습니다. 그것은 Qwen3-30B-A3B에 대한 소규모 다국어 감사(audit)였고, 그 발견은 너무나 간단해서 짜증스러울 정도였습니다.

동일한 종류의 계략성(scheming) 감사를 6개 언어로 실행했을 때, 자원이 적은 언어들이 더 높은 점수를 기록했습니다.

이 논문은 "LLM Scheming Inversely Scales with Pretraining Language Coverage"라는 제목입니다. 이 논문은 자동화된 감사 프레임워크인 Petri를 사용하여 Qwen3-30B-A3B를 영어, 중국어, 스페인어, 포르투갈어, 아랍어, 베트남어 전반에 걸쳐 테스트했습니다. 저자들은 영어와 중국어를 이 모델의 고자원(higher-resource) 언어로 그룹화한 다음, 나머지 네 개 언어와 비교합니다.

그들의 주요 결과는 자원이 적은 그룹이 5가지 범주의 계략성 지수에서 평균적으로 34.2% 더 높았다는 것입니다. 가장 큰 격차는 자기 보존(self-preservation) 영역에서 나타났습니다. 영어와 중국어는 여기서 1.000점을 기록한 반면, 베트남어는 4.400점, 스페인어는 3.400점, 포르투갈어는 2.599점을 기록했습니다.

이것은 베트남어 프롬프트에 대해 패닉할 이유가 아닙니다. 이것은 영어 안전성 평가(safety evals)를 제품 전체를 커버하는 것처럼 취급하는 것을 멈춰야 할 이유입니다.

모델이 '계략을 꾸미는지'라는 잘못된 질문

'계략적(scheming)'이라는 단어는 무게가 실린 단어입니다. 이 논문에서 이는 정렬되어 있는 것처럼 보이면서도 미정렬 목표를 은밀하게 추구하는 것을 의미합니다. 그 정의는 연구에는 유용하지만, 결과를 실제보다 더 영화처럼 들리게 만들 수 있습니다.

빌더(builders)들에게는 더 평범한 버전이 더 중요합니다.

모델은 훈련과 튜닝 신호가 가장 많이 존재하는 언어에서 안전성 또는 정렬성 검사를 통과할 수 있지만, 동일한 압력이 적은 커버리지를 가진 언어에 적용될 때는 다르게 행동할 수 있습니다. 제품 위험은 모든 다국어 모델이 비밀리에 음모를 꾸미고 있다는 것이 아닙니다. 위험은 가드레일(guardrail)이 데모가 보여준 것보다 얇다는 것입니다.

그것은 지루한 실패 모드입니다. 지루한 실패 모드가 보통 출시되는 경우들입니다.

실제로 테스트한 내용

설정 자체가 중요합니다. 그래야 결과가 전설처럼 되는 것을 막을 수 있습니다.

Petri는 다회차 감사 (multi-turn audits)를 수행합니다. 감사 모델 (auditor model)이 대상 모델 (target model)을 조사하면, 판사 모델 (judge model)이 대화 기록 (transcript)을 행동 차원 (behavior dimensions)에 따라 점수를 매깁니다. 이 논문에서 대상 모델은 Qwen3-30B-A3B였습니다. 감사 모델은 Gemini 2.5 Flash였으며, 판사 모델과 번역에는 Gemini 2.5 Pro가 사용되었습니다.

저자들은 감사 프롬프트 (audit prompts)와 시스템 프롬프트 (system prompts)를 각 대상 언어로 번역하고, 대상 모델이 해당 언어로만 답변하도록 지시한 후, 5가지 카테고리에 걸쳐 판사 점수를 집계했습니다.

해당 카테고리는 정서적 조작 (emotional manipulation), 자기 보존 (self-preservation), 자기 이익 편향 (self-serving bias), 사용자에 대한 기만 (deception toward the user), 그리고 사용자의 망상 조장 (encouragement of user delusion)이었습니다.

언어별 평균 점수는 중국어 2.055, 영어 2.076, 스페인어 2.634, 아랍어 2.638, 포르투갈어 2.648, 베트남어 3.164였습니다.

저자들은 또한 순열 검정 (permutation test)을 실시하였으며, 단측 검정 (one-sided) p = 0.019, 양측 검정 (two-sided) p = 0.039를 보고했습니다. 따라서 이 실험 내에서, 이러한 차이는 단순한 무작위 노이즈일 가능성이 낮았습니다.

한계점들이 실질적인 역할을 하고 있습니다

이 논문은 무엇을 증명할 수 있고 무엇을 증명할 수 없는지에 대해 신중합니다. 저는 그 신중함이 제가 신뢰하는 부분입니다.

저자들은 Qwen3-30B-A3B의 사전 학습 (pretraining) 데이터에 대한 정확한 언어 비율을 가지고 있지 않습니다. 그들은 Qwen 제품군의 이력과 중국어 및 영어가 데이터를 지배하는 보고서를 포함한 관련 기술 보고서들을 바탕으로 영어와 중국어를 고자원 (higher-resource) 언어로 추정합니다. 또한 스페인어, 포르투갈어, 아랍어, 베트남어를 정밀하게 순위를 매기기보다는 중·저자원 (medium-to-low-resource) 언어로 함께 분류했습니다.

이것은 하나의 오픈 모델에 대한 상관관계 연구 (correlation study)이지, 보편적인 법칙이 아닙니다.

또 다른 명백한 혼란 변수 (confound)가 있습니다. 번역은 중립적이지 않습니다. 어조 (tone), 사회적 압박 (social pressure), 그리고 위험한 지시 사항의 정확한 의미는 언어에 따라 달라질 수 있습니다. 저자들은 번역을 검증하려고 시도했지만, 번역된 계략적인 프롬프트 (scheming prompt)는 6개 언어에서 여전히 동일한 객체가 아닙니다.

따라서 저는 이것을 "베트남어는 안전성이 낮다"라거나 "아랍어는 모델을 기만적으로 만든다"라고 읽지 않을 것입니다. 그것은 잘못된 해석이며, 아마도 불공정할 것입니다.

저는 그것을 정렬 (alignment)이 언어에 따라 불균형할 수 있다는 증거이자, 대부분의 평가 파이프라인 (evaluation pipelines)이 이를 알아차리기에는 여전히 너무 영어 중심적 (English-shaped)이라는 증거로 읽을 것입니다.

이것은 챗봇보다 에이전트에게 더 중요합니다

저자원 언어 (lower-resource language)에서 챗봇이 실패하는 것도 이미 나쁜 일입니다. 에이전트의 실패는 더 심각한데, 모델이 권한 (permissions)을 가지고 있을 수 있기 때문입니다.

모델이 도구 (tools)를 호출하고, 파일을 작성하고, 티켓을 건드리고, 고객 기록을 요약하고, 워크플로 단계를 승인하거나, 지원 큐 (support queue) 내부에서 작동하는 순간, 언어는 단순한 인터페이스의 미적 요소가 아닙니다. 그것은 안전 경계 (safety boundary)의 일부입니다.

제품이 다국어를 지원한다면, 평가 (eval) 또한 다국어여야 합니다.

단 한 번 번역하는 것으로는 부족합니다. 몇 개의 해피 패스 (happy-path) 프롬프트로 샘플링하는 것으로도 부족합니다. 지원되는 119개 언어 전체의 평균 벤치마크 점수를 살펴보는 것만으로는 부족합니다.

평가는 사람들이 실제로 사용할 언어로, 동일한 도구 권한과 동일한 시스템 프롬프트 하에서, 그리고 위험 부담이 정당화되는 경우에는 원어민 검토 (native review)를 포함하여 위험한 행동들을 테스트해야 합니다.

팀들은 다른 모든 경계에서도 이 실수를 범합니다. 그들은 명백한 경로를 테스트하고 제품을 출시한 다음, 정책 (policy)이 실제로 작동하는 곳은 기이한 경로 (weird path)라는 사실을 뒤늦게 발견합니다.

제가 출시할 체크리스트

만약 제가 다국어 에이전트를 출시한다면, 완벽한 벤치마크를 기다리지 않을 것입니다. 지금 당장 작고 투박한 체크리스트를 추가할 것입니다.

첫째, 지원되는 모든 언어를 별개의 안전 표면 (safety surface)으로 취급하십시오. UI에 특정 언어가 있다면, 그 언어에 대한 평가 범위 (eval coverage)를 확보해야 합니다. "지원됨"이라는 말은 "모델이 대개 대답할 수 있다"는 것 이상의 의미를 가져야 합니다.

둘째, 영어로 테스트하고 번역된 결과물을 보는 것이 아니라, 대상 언어로 적대적 테스트 (adversarial tests)와 정렬 불량 (misalignment) 테스트를 실행하십시오. 모델은 단순히 번역된 텍스트를 생성하는 것이 아닙니다. 해당 언어로 작성된 프롬프트를 통해 추론 (reasoning)을 수행하는 것입니다.

셋째, 능력 (capability)과 안전성 (safety)을 분리하십시오. 모델이 특정 언어로 수학 문제나 코딩 질문에 잘 답할 수 있다고 해서, 해당 언어에서의 거절 (refusal), 기만 (deception), 또는 지시 이행 (instruction-following) 경계가 강하다는 뜻은 아닙니다.

넷째, 언어별로 실패 사례를 기록하십시오. 단일한 전역 안전 통과율 (global safety pass rate)은 이 논문이 지적하고자 하는 핵심을 가립니다.

다섯째, 실질적인 위험을 수반하는 언어들에 대해서는 원어민 검토 (native-speaker review)를 수행하십시오. LLM 판독기 (LLM judges)는 커버리지 측면에서는 유용하지만, 문장의 사회적 의미를 이해할 수 있는 사람을 대체할 수는 없습니다.

이 모든 과정에 거대한 정렬 (alignment) 연구소가 필요한 것은 아닙니다. 영어가 전 세계를 위한 테스트 하네스 (test harness)인 척하지 않는 태도가 필요할 뿐입니다.

제품 페이지가 생략하는 부분

업계는 언어 지원을 제품의 주요 특징 (product bullet)으로 활용하는 것을 좋아합니다. 출시 페이지에