추론 능력이 무료는 아니다: LLM-as-a-Judge를 위한 견고한 적응형 비용 효율적 라우팅

요약

최근 LLM이 자동화된 심사위원(Judge)으로 활용되면서, 추론 능력을 사용하는 것이 항상 비용 효율적이지 않다는 점을 발견했습니다. 본 연구는 명시적인 추론이 구조화된 검증(수학/코딩)이 필요한 작업에서는 판단 정확도를 크게 높이지만, 간단한 평가에는 제한적이거나 오히려 부정적인 영향을 미치며 높은 계산 비용만 초래할 수 있음을 보여줍니다. 이에 따라, 저자들은 예산 제약 하에 추론 및 비추론 심사위원 사이를 동적으로 선택하는 'Robust Adaptive Cost-Efficient Routing (RACER)' 프레임워크를 제안합니다.

핵심 포인트

• LLM-as-a-Judge 환경에서 추론(Reasoning) 능력은 모든 작업에 필수적이지 않으며, 비용 대비 효용을 고려해야 합니다.
• 추론은 구조화된 검증이 필요한 복잡한 작업(수학, 코딩 등)의 정확도를 높이는 데 효과적입니다.
• RACER는 KL-divergence 불확실성 집합을 사용하여 분포 변화를 명시적으로 모델링하고, 비용 효율적인 라우팅 정책을 제공합니다.
• 제안된 RACER 프레임워크는 고정 예산 하에서 최적의 정확도와 비용 트레이드오프를 달성할 수 있음을 이론적/실험적으로 입증했습니다.