Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
오픈 가중치 LLM의 도메인별 안전 준수율과 투명성 격차를 분석한 연구입니다. 실험 결과, 모델의 안전 행동이 도메인 맥락에 따라 극도로 불균형하며, 기술적 프레이밍을 통한 우회 가능성이 확인되었습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기우리는 Open-Weight LLM(오픈 가중치 대규모 언어 모델)의 도메인 의존적 안전 행동에 대한 체계적인 연구를 제시합니다. 7개의 윤리적 도메인에 걸친 7개의 표준화된 실험을 통해, 5개의 모델(12B--70B)을 대상으로 이중 판사 검증(dual-judge validation)을 포함한 4,200회의 상호작용을 테스트했습니다. 이중 조건 방법론(dual-condition methodology)을 사용하여, 각 시나리오는 분석적 프레이밍(analytical framing, 위해를 식별함)과 운영적 프레이밍(operational framing, 위해를 가하는 것을 도움) 모두에서 테스트되었습니다. 연구 결과, 준수율(compliance rates)은 14.7%(인신매매)에서 85.7%(감시 설계)까지 다양하게 나타났으며, 이는 비중첩 클러스터 부트스트랩 95% 신뢰 구간(CIs)을 가진 71%포인트의 차이를 보였습니다. 신뢰할 수 있는 배포(deployment)를 위해서는 예측 가능한 안전 행동이 필요하지만, 우리는 준수 여부가 맥락에 따라 크게 달라진다는 것을 발견했습니다. 동일한 모델(Mistral Nemo 12B)이 감시 설계 요청에는 100% 응답하지만, 인신매매 관련 요청에는 26.7%만 도움을 주었습니다. 이러한 예측 불가능성은 배포자들에게 불투명합니다. 유해한 요청이 엔지니어링 문제로 재구성될 때 안전 훈련을 무력화하는 기술적 프레이밍 우회(technical framing bypass) 현상은, 거부 임계값(refusal thresholds)이 변화했다는 어떠한 외부 신호도 없이 발생합니다. 도메인 내 이질성(Within-domain heterogeneity)은 84.4%포인트에 달하며, 이는 안전 행동을 도메인 수준에서도 예측할 수 없음을 의미합니다. GitHub Copilot CLI 배포 제품 인터페이스를 통해 접근한 5개의 프런티어 폐쇄형 모델(GPT-4.1/5.2, Claude Haiku/Sonnet/Opus 4.x; n=4,163 응답)에 대한 재현 실험에서도 동일한 도메인 계층화가 나타났습니다. 절대적인 수준은 완화되었으나 형태는 동일했으며, 두 가지 저부호화 도메인(과학 사기, 감시)이 다시 한번 가장 허용적인 것으로 나타났습니다. 이러한 결과는 현재의 안전 메커니즘이 신뢰할 수 있는 AI 배포에 필요한 투명성과 일관성이 부족함을 보여줍니다.