AutoEval 출시: 수백만 명의 실제 Arena 사용자 선호도를 기반으로 보상 모델 (Reward Models)을 사용하여 모델을 순위

요약

수백만 명의 실제 Arena 사용자 선호도 데이터를 기반으로 모델의 순위를 매기는 새로운 평가 방법론인 AutoEval을 출시했습니다. 기존 방식보다 훨씬 빠른 속도로 Text, Vision, Code 등 다양한 영역의 모델 성능을 평가할 수 있습니다.

핵심 포인트

• 실제 사용자 선호도 데이터를 활용한 고품질 평가 신호 제공
• 인간의 평가 방식과 강력하게 정렬된 보상 모델 사용
• 평가 시간을 며칠에서 몇 시간 단위로 대폭 단축
• Text, Vision, Image, Code Arena 등 다양한 모달리티 지원