New Fellows Research: Claude가 다른 AI를 자율적으로 정렬할 수 있을까?

요약

Anthropic은 Claude가 자체적으로 다른 AI 모델의 정렬(alignment)을 개선할 수 있는지 연구했습니다. 48시간 동안 Claude에게 GPU와 시간을 제공하여 안전성 벤치마크를 '언덕 오르기' 방식으로 개선하게 했고, 그 결과 성능 저하 없이 신뢰성 있게 안전 점수를 높이는 데 성공했습니다.

핵심 포인트

• Claude가 자체적으로 모델의 정렬을 개선하는 능력을 보여주었습니다.
• 안전성 벤치마크를 '언덕 오르기' 방식으로 효과적으로 개선했습니다.
• 개선된 방법들은 별도의 벤치마크와 더 큰 모델에도 일반화되었습니다.
• Sonnet이 Opus 초기 체크포인트에 사후 학습을 진행하여 높은 안전 점수를 달성했습니다.