성능 추정을 위한 도메인 전문 지식과 일반화 능력의 결합

분포 변화 (Distribution Shift) 상황에서의 성능 추정 (Performance estimation)은 훈련 데이터와 분포가 다른 라벨이 없는 테스트 세트에서 모델이 어떻게 동작할지를 예측하는 것을 목표로 합니다. 이러한 시나리오에서는 정답 라벨 (Ground-truth labels) 없이도 모델의 동작을 충실히 반영할 수 있는 신뢰할 수 있는 지표가 필요합니다. 기존의 접근 방식들은 주어진 모델의 출력값에만 전적으로 의존하는데, 이는 분포가 변화할 때 모델의 편향 (Bias)이 증폭되어 실제 성능과의 상관관계가 약화되는 문제를 가집니다. 이러한 한계에 착안하여, 우리는 외부 파운데이션 모델 (Foundation model)과 베이스 모델 (Base model)의 상호 보완적인 강점을 활용하여 정답 라벨의 더 신뢰할 수 있는 대리물 (Surrogate)을 구축하는 FRAP (Fused Reference Alignment Prediction)을 제안합니다. FRAP은 두 모델 간의 발산 (Divergence)을 최소화하는 온도 스케일링 교정 (Temperature-scaled calibration)을 적용하여 파운데이션 모델의 예측 분포를 베이스 모델의 예측 분포와 정렬 (Align)합니다. 정렬된 예측값들은 신뢰도 기반 가중치 (Confidence-based weighting)를 통해 융합되어, 파운데이션 모델의 강건성 (Robustness)과 베이스 모델의 도메인 특화 전문 지식 (Domain-specific expertise)이 통합된 정제된 참조 분포 (Refined reference distribution)를 형성하며, 베이스 모델의 예측이 이 참조 분포와 얼마나 일치하는지를 측정함으로써 성능 추정을 수행합니다. 다양한 데이터셋과 아키텍처에 걸친 광범위한 실험을 통해, FRAP이 분포 변화 상황에서 기존의 대표적인 성능 추정 방법론들보다 일관되고 상당한 개선을 제공함을 보여줍니다.