BayesAME: 베이지안 능동 모델 평가 (Bayesian Active Model Evaluation)

요약

대규모 생성 모델의 벤치마크 평가 비용을 줄이기 위해 코어셋 크기를 자동으로 결정하는 순차적 베이지안 프레임워크 BayesAME를 제안합니다. 모델의 잠재 능력을 확률 변수로 모델링하여 성능 추정치와 불확실성을 정량화하고 최적의 평가 항목을 선택합니다.

핵심 포인트

• BayesAME는 코어셋 크기를 자동으로 결정하는 베이지안 프레임워크임
• 성능 불확실성과 추정 변동이 임계값 미만일 때까지 코어셋을 확장함
• 다중 목표 확장을 통해 모델 간 성능 상관관계를 포착하여 효율성 증대
• 비무작위 코어셋 선택이 무작위 선택보다 우수함을 입증
• 연속적인 응답 로그 가능도 활용 시 추정 정확도가 크게 향상됨