A toy example: Train an AI only to say it likes certain cheeses.

요약

Anthropic Fellows가 제안하는 Model Spec Midtraining (MSM)은 기존의 AI 정렬 방법이 특정 예시에만 국한되어 일반화에 어려움을 겪는 문제를 해결하기 위한 새로운 접근 방식입니다. MSM은 AI에게 단순히 원하는 행동을 보여주는 것을 넘어, 그 행동의 '규칙'이나 '원리(Specification)' 자체를 먼저 가르치는 추가적인 훈련 단계를 포함합니다. 이를 통해 AI는 주어진 스펙이 의미하는 일반적인 원리를 학습하고, 다양한 상황에서 더 잘 일반화된 행동을 수행할 수 있습니다.

핵심 포인트

• MSM은 AI에게 원하는 행동의 예시뿐만 아니라, 그 행동을 지배하는 '규칙' 또는 '원리(Specification)' 자체를 가르치는 훈련 단계를 추가합니다.
• 이러한 접근 방식 덕분에 AI는 특정 도메인에 국한되지 않고, 스펙이 담고 있는 일반적인 원리를 학습하여 다양한 상황에서 높은 수준의 일반화 능력을 보여줍니다.
• 단순히 '무엇을 하지 말라'고 규정하는 것보다, 그 행동의 가치나 근거가 되는 원리(Specification)를 설명해 주는 것이 AI 정렬에 훨씬 효과적입니다.
• MSM은 위험한 에이전트 행동 방지 등 실제적인 안전 문제 해결에도 적용 가능하며, 어떤 스펙이 가장 좋은 일반화를 제공하는지 경험적으로 연구할 수 있게 합니다.