커뮤니티 기반 평가 시스템 도입: 모델 성능 검증의 투명성 강화

요약

Hugging Face Hub가 커뮤니티 주도의 분산형(decentralized) 평가 보고 시스템을 도입합니다. 기존의 블랙박스 리더보드에 대한 신뢰 부족 문제를 해결하기 위해, 모든 사용자가 Pull Request (PR)를 통해 모델 및 벤치마크 점수를 투명하게 제출할 수 있게 됩니다. 이 시스템은 재현 가능한(reproducible) 평가 사양(eval spec)을 기반으로 하며, 모델 개발자뿐만 아니라 커뮤니티 전체가 검증된 지표를 공유하고 추적할 수 있도록 합니다. 이는 AI 모델의 실제 성능과 벤치마크 점수 간의 격차를

핵심 포인트

• Hugging Face Hub에 벤치마크 데이터셋 레포지토리가 등록되어 리더보드를 생성하며, 평가 사양은 `eval.yaml`을 통해 재현 가능하도록 정의됩니다.
• 모델별로 `.eval_results/*.yaml` 경로에 평가 점수를 저장하여 모델 카드(Model Card)와 벤치마크 데이터셋에 통합 표시되며, 커뮤니티 PR과 개발자 결과를 모두 집계합니다.
• 모든 사용자가 어떤 모델이든 평가 결과를 PR 형태로 제출할 수 있어 '커뮤니티' 소스로 즉시 노출되며, 출처(논문, Model Card 등)와 히스토리 추적이 가능해집니다.
• 이 시스템은 벤치마크 자체를 대체하는 것이 아니라, 재현 가능한 오픈 평가 결과를 통해 AI 평가 분야의 투명성을 높이고 새로운 도메인에 집중하도록 유도합니다.