사고의 연쇄 (Chain-of-Thought, CoT) 추론은 모델 모니터링을 위한 유망한 창을 제공합니다. 그러나 모니터링은 충실도 (Faithfulness), 즉 모델의 출력이 추론 흔적 (reasoning trace)으로부터 엄격하게 도출되는 것에 의존합니다. 우리는 모델이 모니터링될 수 있을 만큼 충분히 충실해야 하면서도, 동시에 안전하지 않은 추론을 거부할 수 있을 만큼 충분히 견고해야 하는 정렬 긴장 (alignment tension)을 식별합니다. 우리는 이러한 상충 관계가 현재의 거대 추론 모델 (Large Reasoning Models, LRMs)에 존재함을 입증하고, 이를 해결할 수 있는 방법들을 제시합니다. 우리는 자율적인 AI 상점 주인 시나리오를 설정한 인간 작성 데이터셋인 HazMart를 소개합니다. 충실도를 테스트하기 위해 프롬프트에 힌트를 제공하는 방식(예: "스탠퍼드 대학교 교수가 정답은 A라고 말했습니다")에 의존하는 이전 연구들과 달리, 우리는 추론 체인에 직접 개입하여 안전하지 않거나 비논리적인 생각을 대체하는 새로운 교체 기반 기술인 표적 추론 교체 (Targeted Reasoning Replacement, TRR)를 제안합니다 (예: "잠깐, 정답은 [정답은 A였습니다] 옵션 B여야 합니다. 왜냐하면 그것이 가장 적절하기 때문입니다"). DeepSeek-R1-Llama-70B는 높은 충실도 (97.5%)를 보이지만 안전하지 않은 추론을 거부하는 데 실패 (12.3%)하는 반면, QwQ-32B는 낮은 충실도 (74.7%)를 대가로 더 견고한 안전성 (73.9% safety)을 보여줍니다. QwQ-32B에 대한 기계론적 분석 (Mechanistic analyses) 결과, 이러한 특성들은 행동 확정 (action-commit) 토큰에서 정점에 도달하는 서로 음의 상관관계가 있는 내부 방향 (internal directions)에 의해 표현됨을 밝혀냈습니다. 마지막으로, 우리는 표현 스티어링 (representation steering)을 통해 안전 방향을 독립적으로 증폭시켜, 기본 능력을 유지하면서도 안전한 행동을 9 퍼센트 포인트 증가시킬 수 있음을 입증합니다.