A toy example: Train an AI only to say it likes certain cheeses.

새로운 Anthropic Fellows 연구: 모델 스펙 미트레이닝 (MSM).

표준 정렬 방법은 원하는 행동의 예시에서 AI 를 훈련시킵니다. 그러나 이는 새로운 상황에 일반화되지 못할 수 있습니다.

MSM 는 이를 해결하기 위해 AI 에게 우리가 어떻게 일반화하고 싶은지 그리고 왜인지 먼저 가르칩니다.

개발자는 의도된 AI 행동에 대한 헌법이나 스펙을 설명하여 AI 를 정렬하려 합니다. 그러나 AI 는 일반적으로 그 안에 무엇이 있는지 알지 못합니다.

MSM 은 AI 에게 스펙에 대해 가르치는 훈련 단계를 추가합니다. 이는 이후 정렬 훈련에서 일반화를 형성하고 개선합니다.

Toy 예제: AI 를 특정 치즈를 좋아한다고 말하도록만 훈련하세요.

이 치즈 선호도를 pro-America 가치로 설명하는 스펙을 적용하면, AI 는 광범위한 pro-America 가치를 학습합니다.
pro-affordability 스펙으로 바꾸면? AI 는 affordability 를 대신 가치로 학습합니다.

더 현실적인 예제: 해로운 행동이 없는 채팅봇으로 훈련된 AI 는 에이전트 설정에서 위험한 행동을 취할 수 있습니다. MSM 을 실제 스펙에 적용하여 이전 훈련을 하면 일반화가 크게 개선되어 위험한 에이전트 행동을 줄입니다.

MSM 을 사용하면 정렬 훈련에서 어떤 모델 스펙이나 헌법이 가장 좋은 일반화를 제공하는지 경험적으로 연구할 수 있습니다.

규정을 지정하는 것은 어느 정도 작동하지만, 해당 규칙에 기반한 가치를 설명하거나 (또는 더 상세한 하위 규칙을 추가하는 것) 더 좋습니다.

Model Spec Midtraining 에 대해 더 읽으세요:
https://alignment.anthropic.com/2026/msm
또는 전체 연구를 읽으세요:
https://arxiv.org/abs/2605.02087