커뮤니티 기반 평가 시스템 도입: 모델 성능 검증의 투명성 강화

최근 대규모 언어 모델(LLM)의 성능 지표가 포화 상태(saturation)에 이르면서, MMLU (Massive Multitask Language Understanding) 같은 주요 벤치마크 점수가 91% 이상을 기록하고 HumanEval 등도 높은 수준에 도달했습니다. 하지만 실제 사용 사례 보고서에 따르면, 최고 점수를 받은 모델들조차 웹 브라우징, 프로덕션 코드 작성, 다단계 작업 처리 등에서 환각(hallucination) 문제를 보이거나 신뢰성 있는 성능을 보이지 못하는 '벤치마크-현실 격차(benchmark-reality gap)'가 명확하게 존재합니다.

더 큰 문제는 보고되는 벤치마크 점수 자체의 비일관성입니다. Model Card, 학술 논문, 평가 플랫폼 등 여러 출처에서 서로 다른 결과가 보고되어 커뮤니티 전체에 '단일 진실 공급원(single source of truth)'이 부재했습니다.

Hugging Face는 이러한 문제를 해결하기 위해 분산형(decentralized)이고 투명한 평가 보고 시스템을 도입합니다. 이 새로운 접근 방식은 평가 결과를 중앙 집중식 리더보드에 의존하는 대신, 커뮤니티 전체가 오픈하게 점수를 보고하도록 합니다.

🛠️ 주요 변화 및 기능

1. 벤치마크 데이터셋 레포지토리: 이제 데이터셋 레포지토리가 벤치마크로 등록될 수 있습니다 (예: MMLU-Pro, GPQA). 이들은 eval.yaml을 통해 평가 사양(evaluation specification)을 정의하며, 이는 Inspect AI 포맷 기반으로 누구나 재현할 수 있도록 보장합니다. 데이터셋 카드에는 Hub 전반에서 보고된 결과를 자동으로 집계하여 리더보드를 표시합니다.

2. 모델 레포지토리: 모델의 평가 점수는 이제 .eval_results/*.yaml 파일에 저장됩니다. 이 결과는 모델 카드(Model Card)와 벤치마크 데이터셋 모두에 통합되어 표시됩니다. 개발자 본인의 결과뿐만 아니라, 커뮤니티가 제출한 오픈 Pull Request (PR)를 통해 보고된 점수까지 종합적으로 집계됩니다.

3. 커뮤니티의 역할 강화: 가장 혁신적인 변화는 모든 사용자가 어떤 모델이든 평가 결과를 PR 형태로 제출할 수 있다는 것입니다. 이 '커뮤니티' 소스로 제출된 결과는 모델 개발자의 승인 여부와 관계없이 즉시 노출됩니다. 사용자들은 논문, Model Card, 외부 평가 플랫폼 등 다양한 출처를 링크하고, 일반적인 PR처럼 점수 변경에 대한 토론을 진행할 수 있습니다.

💡 기대 효과 및 의미

이 분산형 평가는 기존의 블랙박스 리더보드에만 의존하던 방식에서 벗어나, 커뮤니티가 이미 가지고 있는 다양한 출처의 평가 점수(Model Card, 논문 등)를 노출하고 이를 집계할 수 있게 합니다. 모든 점수는 Hub API를 통해 외부에 공개되므로, 외부 도구로 리더보드나 대시보드를 구축하기 매우 용이합니다.

다만, 이 기능이 벤치마크 자체를 완전히 대체하는 것은 아닙니다. 기존의 폐쇄적이고 출판된 결과(closed evals)는 여전히 중요하며, 본 시스템은 재현 가능한 오픈 평가 결과를 기여함으로써 AI 연구 분야의 투명성을 높이는 데 중점을 둡니다. 궁극적으로 Hugging Face Hub를 단순히 모델을 저장하는 곳이 아니라, 재현 가능하고 활발한 벤치마크 구축 및 공유가 이루어지는 능동적인 플랫폼으로 만드는 것이 목표입니다.