서로 다른 비용-품질 트레이드오프 (cost-quality trade-offs)를 가진 대규모 언어 모델 (LLMs)을 선택하기 위한 라우팅 (Routing)은 기업용 AI의 핵심적인 배포 기능이 되었습니다. 기존의 라우터들은 주로 각 LLM 호출에 대해 독립적인 라우팅 결정을 내립니다. 그러나 에이전틱 (agentic) 애플리케이션은 품질이 지연된 작업 수준의 결과에 의해서만 결정되는 장기 워크플로우 (long-horizon workflows)로 실행됩니다. 이러한 불일치는 호출별 라우터가 개별 라우팅 결정에 피드백을 정확하게 귀속시키는 것을 방해합니다. 이를 완화하기 위해, 우리는 라우팅을 감독 단위와 일치시키는 작업 수준 라우팅 프레임워크인 TRACE-Router를 제시합니다. TRACE-Router는 컨텍스츄얼 밴딧 (contextual bandit)을 사용하여 수락 시점에 각 작업을 모델에 한 번 할당하고, 이후의 모든 LLM 호출을 선택된 백엔드 (backend)에 고정하며, 정확도와 지연 시간 (latency)을 공동으로 고려하는 작업의 최종 보상을 사용하여 정책을 업데이트합니다. 지연된 작업 피드백을 활용함으로써, TRACE-Router는 명시적인 작업 복잡도 추정을 피하면서 워크로드에 적응하는 라우팅 정책을 학습합니다. 세 가지 에이전틱 벤치마크 (agentic benchmarks) 전반에서 TRACE-Router는 정확도-지연 시간 트레이드오프를 일관되게 개선하여, 지배되지 않는 파레토 프런티어 (Pareto frontier) 지점들을 달성합니다. tau2-Bench에서 이는 개별 모델 간의 지연 시간 매칭 보간 (latency-matched interpolation)보다 정확도 면에서 7-8포인트 더 높은 성능을 보였으며, Terminal-Bench에서는 가장 강력한 단일 모델 베이스라인보다 7.1포인트 더 높은 정확도를 달성하면서도 지연 시간은 36% 더 낮았습니다.