메타 러닝 (Meta-Learning)을 통한 비용 효율적인 모델 평가

머신 러닝 (Machine Learning)의 급격한 성장으로 인해 모델 생태계가 끊임없이 확장되고 있으며, 이로 인해 새로 출시된 모델의 신뢰성을 미지의 레이블이 없는 데이터 (unseen, unlabeled data) 상에서 검증하는 것이 점점 더 어려워지고 있습니다. 기존의 평가 파이프라인 (evaluation pipelines)은 비용이 많이 드는 어노테이션 (annotation), 반복적인 미세 조정 (fine-tuning), 또는 모델 제품군 (model families) 간에 전이되지 않는 좁은 가정들에 의존합니다. 본 논문에서는 다양한 아키텍처 (architectures)와 모달리티 (modalities)에 걸쳐 미지의 모델들을 빠르고 레이블 없이 (label-free) 평가할 수 있는 비용 효율적이고 모델 불가지론적 (model-agnostic)인 프레임워크인 MetaEvaluator를 제안합니다. MetaEvaluator는 참조 모델 (reference models) 풀 (pool)에 대한 메타 러닝 (meta-learning)을 활용하여 전이 가능한 초기화 (transferable initialization)를 얻음으로써, 모델별 재학습 (retraining)의 필요성을 제거하고 풀 전체에 걸쳐 비용을 분할하면서도 새로운 모델에 대한 정확한 평가를 가능하게 합니다. 저희가 알고 있는 바로는, 이는 완전히 레이블이 없는 데이터셋 (unlabeled datasets) 상에서 새로운 모델을 평가할 수 있는 최초의 모델 불가지론적 (model-agnostic) 프레임워크입니다. 광범위한 실험을 통해 MetaEvaluator가 기존 방식에 비해 실질적으로 감소된 비용으로 안정적이고 정확한 성능 추정치를 생성함을 보여주며, 이를 통해 레이블이 없는 데이터 상에서 신흥 모델들의 확장 가능한 벤치마킹 (benchmarking)을 실용적으로 만듭니다.