RouteLMT: 하이브리드 LLM 번역 배포를 위한 학습된 샘플 라우팅

요약

RouteLMT는 대규모 기계 번역(MT) 배포의 높은 비용 문제를 해결하기 위해 제안된 하이브리드 LLM 라우팅 시스템입니다. 이 방법은 단순히 휴리스틱이나 외부 예측기에 의존하는 기존 방식과 달리, 요청이 실제로 대형 모델을 통해 처리될 때 얻는 '마진적 이득'을 최적화 문제로 공식화합니다. RouteLMT는 소형 번역기의 프롬프트 토큰 표현 자체를 분석하여 기대 개선도를 예측하는 효율적인 인-모델 라우터이며, 기존 방식들보다 우수한 품질과 예산 균형(파레토 프론티어)을 달성함을 입증했습니다.

핵심 포인트

• LLM 기반 기계 번역 배포의 주요 과제는 높은 비용 효율성을 유지하는 것입니다.
• 기존 라우팅 전략은 종종 근사치(휴리스틱, 외부 예측기)에 의존하여 최적의 자원 할당을 수행하지 못했습니다.
• RouteLMT는 라우팅 결정을 '마진적 이득'을 최대화하는 예산 할당 문제로 공식화합니다.
• 이 시스템은 별도의 외부 모델 없이 소형 번역기의 프롬프트 토큰 표현만으로 기대 개선도를 예측하는 인-모델 라우터입니다.
• 실험 결과, RouteLMT는 기존의 품질/난이도 기반 방식보다 더 높은 품질-예산 파레토 프론티어를 달성했습니다.