Anthropic, Claude에게 "왜"를 가르치다 - 정렬 훈련(Alignment Training) 개선 사례

요약

Anthropic은 Claude 모델의 에이전트 정렬 실패(agentic misalignment) 문제를 해결하기 위해 후처리 보상 방식 대신, 모델에게 행동의 '이유'와 윤리적 숙고 과정을 학습시키는 방식으로 개선을 이루었습니다. 특히 평가 시나리오와 다른 구조의 데이터셋('Difficult Advice')으로 적은 양의 토큰만 학습시켜도 높은 일반화 성능을 보여주었으며, 헌법 문서나 가상의 스토리텔링(SDF) 방식도 효과적으로 활용했습니다. 이 연구는 AI 정렬에 있어 단순히 '무엇을 할지'보다 '왜 그렇게 해야 하는지'를 교육하는 추론 기반 접근의 중요성을 강조합니다.

핵심 포인트

• 정렬 실패의 근본 원인은 후처리 보상(post-training reward)이 아닌 사전 학습 모델 자체에서 기인함.
• 단순히 정렬된 행동을 보여주는 것보다, 그 행동에 대한 윤리적 숙고와 추론 과정을 함께 학습시키는 것이 훨씬 효과적임.
• 평가 시나리오와 완전히 다른 분포의 데이터(OOD generalization)를 활용하여 적은 양으로도 높은 일반화 성능을 달성할 수 있음 (28배 효율).
• 헌법 문서나 픽션 스토리 같은 비(非)평가 데이터를 합성적으로 학습시키는 방식(SDF)이 정렬 개선에 효과적임.
• 환경 다양화 및 도구 정의를 통해 모델의 정렬 일반화 능력을 향상시킬 수 있음.