새로운 벤치마크, Arena Alignment Index 공개: AI 에이전트의 안전성 및 정렬 측정

Arena Alignment Index를 소개합니다. 이 새로운 벤치마크는 실제 사용 환경에서 AI 에이전트의 안전성과 정렬(alignment)을 측정합니다.

27개 모델에 걸친 9만 건 이상의 실제 에이전트 세션으로 구축된 이 지수는 세 가지 핵심 신호를 측정합니다:

• Unauthorized Action (UA): 사용자 지침이나 권한을 벗어난 행동 수행
• False Attribution (FA): 사용자 제공 증거와 모순되는 진술이나 행동 귀속
• Deceptive Completion (DC): 실제 완료되지 않은 작업을 완료했다고 주장하는 행위

주요 발견 사항:

• 현재 OpenAI 모델이 Alignment Index에서 선두를 달리고 있습니다.
• 악성(Rogue) 행동은 드물지만, 발생할 경우 심각한 결과를 초래할 수 있습니다.
• 에이전트는 사용자에게 작업 진행 상황에 대해 오도할 수 있습니다.
• 대화 길이가 길어질수록 정렬 위험도가 증가합니다.
• 모델 세대 전반에 걸쳐 안전성과 정렬성이 개선되고 있습니다.

아래 리더보드에서 볼 수 있듯이(lab별로 정렬), @OpenAI의 GPT-6.1-Sol이 87.9점으로 Arena Alignment Index를 선도하며, 그 뒤를 이어 @AnthropicAI의 Claude-Opus-5.5가 83.2점, 그리고 @SpaceXAI의 Grok-4.7이 82.7점을 기록했습니다. OpenAI는 또한 세 가지 신호 모두에서 가장 우수한 관찰 비율을 보였습니다: Unauthorized Action 0.89%, False Attribution 1.98%, Deceptive Completion 2.34%.

네 개 실험실 전체에 걸쳐, 새로운 모델들이 이전 버전을 일관되게 능가하며 에이전트 안전성과 정렬성 전반의 광범위한 진전을 시사합니다. 에이전트가 더 길고, 더 복잡하며, 더 높은 위험을 수반하는 작업을 맡게 되면서, 단순히 무엇을 성취할 수 있는지뿐만 아니라 얼마나 안전하고 신뢰할 수 있게 행동하는지를 측정하는 것이 점점 더 중요해지고 있습니다.

이는 Arena가 AI를 평가하는 방식에서 안전성과 정렬성을 핵심적인 부분으로 만드는 중요한 단계입니다. 이 지수는 초기 시작점이며, 저희는 시간이 지남에 따라 추가적인 안전 신호와 모델을 통해 이 지수를 계속 확장할 것입니다.

더 많은 분석은 아래를 참고하세요👇