중요한 작업에 대한 벤치마킹: 모델 순위 보존을 위한 데이터셋 선택

머신러닝 (Machine Learning) 모델의 벤치마크 (Benchmarks)에는 종종 많은 데이터셋이 포함되어 평가 비용이 많이 듭니다. 효율성을 위해, 대신 작고 대표성 있는 데이터셋에서 평가를 수행하는 것이 바람직합니다. 이러한 서브셋 (Subsets)의 선택은 일반적으로 휴리스틱 (Heuristics)에 의존하며, 결과적으로 나타나는 모델 순위 (Model Rankings)의 견고함 (Robustness)에 대해서는 거의 분석되지 않습니다. 우리는 다양한 선택 전략이 전역 모델 순위를 어떻게 보존하는지에 대한 평가와 함께, 데이터셋 서브셋을 선택하는 작업을 수행하기 위한 프레임워크 (Framework)를 소개합니다. 우리의 프레임워크는 유효한 신뢰 구간 (Confidence Intervals)을 제공하는 부트스트랩 집계 (Bootstrap Aggregation)를 포함하여, 선택 전략의 원칙적인 비교를 가능하게 합니다. 우리는 클러스터링 (Clustering), 설계 기준 (A/D-optimality), 무작위 베이스라인 (Random Baselines), 그리고 탐욕적 최원점 우선 (Greedy Farthest-First, FAFI) 방식을 고려합니다. 후자의 경우, 선택된 데이터셋의 수에 따른 함수로서 순위 오류 (Ranking Errors) 관점에서의 선택 품질에 대한 상한 (Upper Bounds)을 도출합니다. 실증적으로, 시계열 분류 (Time Series Classification, TSC, 112개 데이터셋) 및 MTEB에서 파생된 보충 자연어 처리 (Natural Language Processing, NLP) 벤치마크 (57개 태스크)에서, 단순한 FAFI를 포함한 여러 선택 전략이 무작위 서브셋 (Random Subsets)에 비해 순위 보존을 향상시킵니다. 반면, 추천 시스템 (Recommender Systems, 30개 데이터셋)에서는 무작위 선택 대비 전략의 개선 효과가 작으며 일반적으로 통계적으로 유의미하지 않습니다. TSC의 경우, 우리의 가장 성능이 좋은 전략은 단 5개의 선택된 데이터셋만을 사용하여 전체 벤치마크 모델 순위와 0.95의 스피어만 상관계수 (Spearman Correlation)를 달성합니다. 추가 실험은 선택 접근 방식의 효과가 데이터셋 표현 (Dataset Representations)의 품질과 벤치마킹 체제 (Benchmarking Regime)의 규모 모두에 달려 있음을 나타냅니다.