배포 예산을 활용한 기반 모델의 예측 성능

요약

본 글은 평균 쿼리 비용 예산 하에서 다운스트림 태스크 예측 성능을 개선하는 새로운 프레임워크를 제시합니다. 이 프레임워크는 학습 데이터를 활용하여 어떤 모델을 쿼리할지, 그리고 특징과 출력을 어떻게 결합할지를 학습합니다. 특히 입력마다 다른 모델을 동적으로 사용하는 방법이 기존 방식보다 우수함을 이론적 및 시뮬레이션 환경에서 입증했습니다.

핵심 포인트

• 예산 제약 하에 여러 기반 모델의 예측 성능 개선 프레임워크를 개발함.
• 모든 입력에 동일한 모델을 쿼리하는 방식도 특정 조건에서 minimax 속도를 달성함을 보임.
• 입력마다 모델을 동적으로 변화시키는 방법이 기존 방식보다 엄격하게 우수함.
• 시뮬레이션 및 멀티모달 노트북 가격 애플리케이션에서 뛰어난 성능을 입증함.