Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 소형(small) 모델과 대형(large) 모델 간의 라우팅을 통해 추론 비용을 절감하는 방법을 다룹니다. 신뢰도 기반 라우팅이 특정 데이터셋에서는 성능 향상을 보였으나, 모든 태스크와 언어에 걸쳐 일관된 이점을 제공하지 못함을 체계적으로 평가했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기소형(small)에서 대형(large) 언어 모델 라우팅은 쉬운 입력은 소형 모델에 유지하고 어려운 입력만 대형 모델로 격상(escalating)함으로써 추론 비용을 줄일 수 있습니다. 하지만 그 성공 여부는 어떤 예제가 격상을 통해 이득을 얻는지 식별하는 것에 달려 있으며, 다국어 태스크 전반에 걸친 신뢰도(confidence)의 신뢰성은 아직 불분명합니다. 본 논문에서는 세 가지 모델 계열, 네 가지 언어, 그리고 세 가지 태스크 유형에 걸쳐 신뢰도 기반 라우팅에 대한 체계적인 평가를 제시하며, 이를 통해 72가지 모델, 데이터셋, 언어, 규모 구성과 42,288개의 예측을 다룹니다. 우리는 전역 신뢰도 라우팅(global confidence routing)을 무작위 라우팅(random routing), 균등 할당량 신뢰도 라우팅(equal-quota confidence routing), 그리고 오라클 상한선(oracle upper bound)과 비교합니다. 신뢰도는 Belebele 독해 이해 및 SIB-200 주제 분류 데이터셋에서 유익한 격상 사례를 식별하며, 평균 수정 탐지 AUC는 각각 0.612와 0.705를 기록했습니다. 50%의 격상률에서, 이는 Belebele에서 무작위 라우팅 대비 1.404.67 퍼센트 포인트, SIB-200에서는 2.545.63 포인트 향상을 보였습니다. 반면, MMLU-ProX-Lite 지식 및 추론 데이터셋에서의 평균 AUC는 단지 0.510에 불과했으며, 라우팅은 소형 모델이 부정확한 상태에서도 높은 신뢰도를 유지하는 경우가 많아 무작위 선택 대비 일관된 개선을 제공하지 못했습니다. 전역 신뢰도 라우팅은 최대 30.33 퍼센트 포인트까지 언어 격상 간극(language escalation gaps)을 만들지만, 균등 할당량 라우팅은 이러한 불균형을 거의 누적 정확도 비용 없이 제거합니다. 이러한 결과는 신뢰도 라우팅이 태스크 의존적이며 언어 전반에 걸쳐 계산 자원을 고르게 할당할 수 없음을 보여줍니다. 코드는 https://github.com/sabbir5622r/multilingual-llm-routing에서 확인할 수 있습니다.