AI 경쟁: 중국의 오픈 가중치 모델이 미국 폐쇄형 모델에 7개월 정도 뒤처지다

출처: 제가 만든 (그리고 어제 여기에 출시한) 오픈 소스 AI 리더보드 whatmodel.sh. 모든 점수는 출판된 벤치마크 결과에서 비롯되었습니다: 987개의 벤치마크에 걸쳐 1,011개 출처의 22,113개입니다. 각 출처는 게시된 곳과 연결되어 있습니다. 이 차트는 텍스트 모델 데이터를 사용합니다: 617개 벤치마크에서 1,211개 모델에 대한 18,755개 결과입니다. - 14,436개의 결과는 독립적인 평가입니다: 저자들이 직접 모델을 실행한 논문들(주로 ACL Anthology와 arXiv의 CC BY 논문), Epoch AI, LMArena 데이터셋, EvalPlus, EleutherAI harness 등이 있습니다. - 7,677개는 연구실이 자체 모델에 대해 보고한 점수로, '연구실 보고(lab-reported)'로 표시되었습니다. 모든 것이 공개적입니다: 데이터셋(CC BY-SA 4.0)과 채점 코드(MIT)는 https://github.com/jakemanger/whatmodel 에 있으며, CSV 다운로드는 https://whatmodel.sh/data/manifest.json 에서 가능합니다. 모든 숫자는 출처로 연결되며, 각 출처의 라이선스가 기록되어 있습니다. 인터랙티브 버전 (모델을 클릭하여 점수와 출처 확인): https://whatmodel.sh/race 유용하다고 생각되면 github에서 별점을 눌러주세요! /u/jakecoolguy 님이 제출함 [링크] [댓글]