RouteLMT: 하이브리드 LLM 번역 배포를 위한 학습된 샘플 라우팅

대형 언어 모델 (LLMs) 은 기계 번역 (MT) 에서 뛰어난 성능을 달성했지만, 대규모로 배포하는 것은 여전히 비용이 과도하게 많이 듭니다. 널리 채택된 해결책은 소형 모델로 대부분의 요청을 처리하고 일부만 선택적으로 대형 모델로 라우팅하여 비용과 품질을 균형 있게 유지하는 하이브리드 시스템 패러다임입니다. 그러나 기존 라우팅 전략들은 종종 휴리스틱, 외부 예측기, 또는 절대적 품질 추정치를 기반으로 하여, 대형 모델이 소형 모델보다 실제로 유의미한 개선을 제공하는지 여부를 포착하지 못합니다. 본 논문에서는 라우팅을 예산 할당 문제로 공식화하고, 마진적 이득 (marginal gain) 즉, 대형 모델의 소형 모델 대비 개선량을 예산 제약 하의 최적 의사결정 신호로 규명합니다. 이를 바탕으로 우리는 extbf{RouteLMT} (LLM 기반 MT 를 위한 라우팅) 를 제안하며, 이는 외부 모델이나 가설 디코딩 없이 소형 번역기의 프롬프트 토큰 표현을 탐지하여 기대 이득을 예측하는 효율적인 인-모델 라우터입니다. 광범위한 실험 결과, RouteLMT 는 휴리스틱 및 품질/난이도 추정 기반선보다 우수한 성능을 보이며, 더 높은 품질-예산 파레토 프론티어를 달성합니다. 또한 우리는 회귀 위험을 분석하고, 단순한 보호된 변종이 심각한 품질 손실을 완화할 수 있음을 보여줍니다.