머신 러닝 (Machine Learning)의 급격한 성장으로 인해 모델 생태계가 끊임없이 확장되고 있으며, 이로 인해 새로 출시된 모델의 신뢰성을 미지의 레이블이 없는 데이터 (unseen, unlabeled data) 상에서 검증하는 것이 점점 더 어려워지고 있습니다. 기존의 평가 파이프라인 (evaluation pipelines)은 비용이 많이 드는 어노테이션 (annotation), 반복적인 미세 조정 (fine-tuning), 또는 모델 제품군 (model families) 간에 전이되지 않는 좁은 가정들에 의존합니다. 본 논문에서는 다양한 아키텍처 (architectures)와 모달리티 (modalities)에 걸쳐 미지의 모델들을 빠르고 레이블 없이 (label-free) 평가할 수 있는 비용 효율적이고 모델 불가지론적 (model-agnostic)인 프레임워크인 MetaEvaluator를 제안합니다. MetaEvaluator는 참조 모델 (reference models) 풀 (pool)에 대한 메타 러닝 (meta-learning)을 활용하여 전이 가능한 초기화 (transferable initialization)를 얻음으로써, 모델별 재학습 (retraining)의 필요성을 제거하고 풀 전체에 걸쳐 비용을 분할하면서도 새로운 모델에 대한 정확한 평가를 가능하게 합니다. 저희가 알고 있는 바로는, 이는 완전히 레이블이 없는 데이터셋 (unlabeled datasets) 상에서 새로운 모델을 평가할 수 있는 최초의 모델 불가지론적 (model-agnostic) 프레임워크입니다. 광범위한 실험을 통해 MetaEvaluator가 기존 방식에 비해 실질적으로 감소된 비용으로 안정적이고 정확한 성능 추정치를 생성함을 보여주며, 이를 통해 레이블이 없는 데이터 상에서 신흥 모델들의 확장 가능한 벤치마킹 (benchmarking)을 실용적으로 만듭니다.