Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
거대 추론 모델(LRM)에서 모델의 출력 충실도와 안전성 사이의 상충 관계를 분석한 연구입니다. 새로운 데이터셋 HazMart와 표적 추론 교체(TRR) 기술을 제안하며, 모델 내부의 표현 스티어링을 통해 안전성을 개선할 수 있음을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기사고의 연쇄 (Chain-of-Thought, CoT) 추론은 모델 모니터링을 위한 유망한 창을 제공합니다. 그러나 모니터링은 충실도 (Faithfulness), 즉 모델의 출력이 추론 흔적 (reasoning trace)으로부터 엄격하게 도출되는 것에 의존합니다. 우리는 모델이 모니터링될 수 있을 만큼 충분히 충실해야 하면서도, 동시에 안전하지 않은 추론을 거부할 수 있을 만큼 충분히 견고해야 하는 정렬 긴장 (alignment tension)을 식별합니다. 우리는 이러한 상충 관계가 현재의 거대 추론 모델 (Large Reasoning Models, LRMs)에 존재함을 입증하고, 이를 해결할 수 있는 방법들을 제시합니다. 우리는 자율적인 AI 상점 주인 시나리오를 설정한 인간 작성 데이터셋인 HazMart를 소개합니다. 충실도를 테스트하기 위해 프롬프트에 힌트를 제공하는 방식(예: "스탠퍼드 대학교 교수가 정답은 A라고 말했습니다")에 의존하는 이전 연구들과 달리, 우리는 추론 체인에 직접 개입하여 안전하지 않거나 비논리적인 생각을 대체하는 새로운 교체 기반 기술인 표적 추론 교체 (Targeted Reasoning Replacement, TRR)를 제안합니다 (예: "잠깐, 정답은 [정답은 A였습니다] 옵션 B여야 합니다. 왜냐하면 그것이 가장 적절하기 때문입니다"). DeepSeek-R1-Llama-70B는 높은 충실도 (97.5%)를 보이지만 안전하지 않은 추론을 거부하는 데 실패 (12.3%)하는 반면, QwQ-32B는 낮은 충실도 (74.7%)를 대가로 더 견고한 안전성 (73.9% safety)을 보여줍니다. QwQ-32B에 대한 기계론적 분석 (Mechanistic analyses) 결과, 이러한 특성들은 행동 확정 (action-commit) 토큰에서 정점에 도달하는 서로 음의 상관관계가 있는 내부 방향 (internal directions)에 의해 표현됨을 밝혀냈습니다. 마지막으로, 우리는 표현 스티어링 (representation steering)을 통해 안전 방향을 독립적으로 증폭시켜, 기본 능력을 유지하면서도 안전한 행동을 9 퍼센트 포인트 증가시킬 수 있음을 입증합니다.