Is Escalation Worth It? A Decision-Theoretic Characterization of LLM Cascades

요약

본 논문은 LLM(대형 언어 모델)을 활용한 모델 캐스케이드(Model cascades)의 비용-품질 트레이드오프를 결정론적으로 분석하는 새로운 프레임워크를 제시합니다. 기존 연구가 경험적 하이퍼파라미터에 의존했던 것과 달리, 본 연구는 제약 최적화와 쌍대성(duality)을 기반으로 캐스케이드의 비용-품질 프론티어의 기하학적 특성을 수학적으로 규명합니다. 이를 통해 예산 및 품질 제약을 연결하는 역그림자 가격(reverse shadow prices)을 제공하며, 모델 풀 전체에 걸쳐 최적화된 서열 캐스케이드를 위한 이론적 기반과 실용적인 통찰력을 제공합니다.

핵심 포인트

• 모델 캐스케이드의 비용-품질 트레이드오프를 결정론적 프레임워크(제약 최적화 및 쌍대성)로 분석하여 기존 경험적 접근법의 한계를 극복했습니다.
• 캐스케이드가 달성할 수 있는 성능 경계(프론티어)에 대한 수학적 특성을 규명하고, 예산과 품질 제약을 연결하는 역그림자 가격을 도출합니다.
• 최적화된 서열 캐스케이드는 단순히 모델의 순서만 최적화하는 것보다 더 큰 실용적인 이득을 제공할 수 있음을 보여줍니다.
• 캐스케이드 성능은 중간 단계의 부족보다는 구조적 비용(Structural Cost)에 의해 주로 제한된다는 중요한 통찰을 제시합니다.