CoEval: 레이블 데이터나 신뢰할 수 있는 벤치마크 없이 맞춤형 작업을 위한 언어 모델 순위 지정

요약

CoEval은 레이블 데이터나 기존 벤치마크 없이도 언어 모델의 성능을 평가할 수 있는 오픈 소스 프레임워크입니다. 티처 모델을 통해 오염되지 않은 새로운 벤치마크를 합성하고, 교차 패밀리 판사 앙상블을 활용해 모델의 순위를 정확하게 매깁니다.

핵심 포인트

• 데이터 오염 문제를 해결하기 위해 실행 시마다 새로운 항목을 합성함
• 인간의 레이블 없이도 티처 모델을 통해 속성이 제어된 벤치마크 생성
• 교차 패밀리 판사 앙상블을 통해 장황함 및 자기 선호 편향 상쇄
• 저렴한 비용으로 특정 도메인에 맞춤화된 리더보드 구축 가능