오늘 우리는 AutoEval을 출시합니다: 수백만 명의 실제 Arena 사용자 선호도(preferences)를 기반으로 한 보상 모델 (reward models)을 사용하여 모델의 순위를 매기는 새로운 평가 방법론입니다.

주요 특징:

• 실제 선호도 데이터에 맞춰 조정된 고품질 평가 신호 (evaluation signals)
• 실제 인간 평가 (human evaluations)와의 강력한 정렬 (alignment)
• 수십 배 더 빠른 평가 (며칠이 아닌 몇 시간 만에 완료)
• Text, Vision, Image, 그리고 Code Arena 지원

AutoEval을 통해 우리는 새로 출시된 모델을 훨씬 더 빠르게 평가하고 그 결과를 커뮤니티와 더 빨리 공유할 수 있습니다. 이제 리더보드(leaderboard)에 새로운 모델에 대한 AutoEval 추정 점수를 직접 표시할 예정입니다.

자세한 내용은 스레드에서 확인하세요. 🧵