AI 연구소의 벤치마크 점수가 독립적인 테스트 결과보다 평균 6.4% 높게 보고됨

요약

AI 연구소들이 자체적으로 발표하는 벤치마크 점수가 독립적인 테스트 결과보다 평균 6.4% 높게 보고되는 경향이 있음을 분석했습니다. 이 연구는 1,629개의 공개된 벤치마크 결과를 활용하여 180개 모델의 103개 벤치마크 비교를 매칭한 내용을 담고 있습니다.

핵심 포인트

• AI 연구소 자체 점수가 독립 테스트보다 평균 6.4% 높음
• 1,629개의 공개 벤치마크 결과 분석 기반
• 데이터셋은 CC BY-SA 4.0, 코드는 MIT 라이선스 적용