예측 불가능한 안전성: Open-Weight LLM의 도메인 의존적 준수 및 투명성 격차

우리는 Open-Weight LLM(오픈 가중치 대규모 언어 모델)의 도메인 의존적 안전 행동에 대한 체계적인 연구를 제시합니다. 7개의 윤리적 도메인에 걸친 7개의 표준화된 실험을 통해, 5개의 모델(12B--70B)을 대상으로 이중 판사 검증(dual-judge validation)을 포함한 4,200회의 상호작용을 테스트했습니다. 이중 조건 방법론(dual-condition methodology)을 사용하여, 각 시나리오는 분석적 프레이밍(analytical framing, 위해를 식별함)과 운영적 프레이밍(operational framing, 위해를 가하는 것을 도움) 모두에서 테스트되었습니다. 연구 결과, 준수율(compliance rates)은 14.7%(인신매매)에서 85.7%(감시 설계)까지 다양하게 나타났으며, 이는 비중첩 클러스터 부트스트랩 95% 신뢰 구간(CIs)을 가진 71%포인트의 차이를 보였습니다. 신뢰할 수 있는 배포(deployment)를 위해서는 예측 가능한 안전 행동이 필요하지만, 우리는 준수 여부가 맥락에 따라 크게 달라진다는 것을 발견했습니다. 동일한 모델(Mistral Nemo 12B)이 감시 설계 요청에는 100% 응답하지만, 인신매매 관련 요청에는 26.7%만 도움을 주었습니다. 이러한 예측 불가능성은 배포자들에게 불투명합니다. 유해한 요청이 엔지니어링 문제로 재구성될 때 안전 훈련을 무력화하는 기술적 프레이밍 우회(technical framing bypass) 현상은, 거부 임계값(refusal thresholds)이 변화했다는 어떠한 외부 신호도 없이 발생합니다. 도메인 내 이질성(Within-domain heterogeneity)은 84.4%포인트에 달하며, 이는 안전 행동을 도메인 수준에서도 예측할 수 없음을 의미합니다. GitHub Copilot CLI 배포 제품 인터페이스를 통해 접근한 5개의 프런티어 폐쇄형 모델(GPT-4.1/5.2, Claude Haiku/Sonnet/Opus 4.x; n=4,163 응답)에 대한 재현 실험에서도 동일한 도메인 계층화가 나타났습니다. 절대적인 수준은 완화되었으나 형태는 동일했으며, 두 가지 저부호화 도메인(과학 사기, 감시)이 다시 한번 가장 허용적인 것으로 나타났습니다. 이러한 결과는 현재의 안전 메커니즘이 신뢰할 수 있는 AI 배포에 필요한 투명성과 일관성이 부족함을 보여줍니다.