저는 최근 여러 모델에 걸쳐 쿼리를 라우팅하고, 동일한 요청을 캐싱하며, 도구 호출(tool calls)을 병렬화하는 내부 코딩 어시스턴트를 출시했습니다. 이 튜토리얼에서는 여러분이 Oxlo.ai 기반의 자체 스택에 바로 적용할 수 있도록 해당 에이전트를 다시 구축해 볼 것입니다. 이 가이드는 추론 스택(inference stack)을 다시 작성하지 않고도 모든 LLM 상호작용에서 몇 초를 단축하고자 하는 엔지니어링 팀을 위해 작성되었습니다.

필요한 사항

• Python 3.10 이상
• pip install openai
• https://portal.oxlo.ai에서 발급받은 Oxlo.ai API 키

1단계: 클라이언트 초기화 및 기준 지연 시간(baseline latency) 측정

Oxlo.ai를 가리키는 OpenAI 호환 클라이언트를 설정하고, 스트리밍(streaming)을 통해 첫 번째 토큰 생성 시간(time-to-first-token)을 기록합니다. 이 기준점은 최적화를 추가하기 전에 우리가 해결해야 할 지연 시간이 정확히 어느 정도인지 보여줍니다.

import time
from openai import OpenAI

...

2단계: 쿼리 복잡도 라우터(query complexity router) 구축

Oxlo.ai의 빠른 qwen-3-32b 모델을 사용하여 들어오는 질문을 simple, coding, 또는 deep_reasoning 티어로 분류할 것입니다. 각 티어를 서로 다른 모델에 매핑하면 사소한 질문에 대해 컴퓨팅 자원을 과다하게 할당하는 것을 방지할 수 있습니다.

ROUTER_PROMPT = """You are a query classifier. Respond with exactly one word: simple, coding, or deep_reasoning.
simple: general knowledge or explanations.
coding: debugging, code generation, or review.
...

3단계: 요청 수준 캐싱(request-level caching) 추가

Oxlo.ai는 요청당 고정 요금을 부과하기 때문에, 중복된 프롬프트는 순수한 오버헤드입니다. 모델과 메시지의 SHA-256 해시를 키로 사용하는 인메모리 캐시(in-memory cache)를 추가하여 불필요한 API 호출을 완전히 제거하겠습니다.

import hashlib

_request_cache = {}
...

4단계: 투기적 병렬 도구 생성(Speculative parallel tool generation)

코딩 작업의 경우, 설명과 코드 차이(code diff)가 모두 필요한 경우가 많습니다. 두 번의 순차적인 왕복(round trips) 대신, 스레드 풀(thread pool)을 사용하여 두 요청을 병렬로 실행합니다. Oxlo.ai는 콜드 스타트(cold starts) 없이 인기 있는 모델들을 제공하므로, 두 스트림이 즉시 시작됩니다.

from concurrent.futures import ThreadPoolExecutor

def fetch_explanation(query, model):
...

5단계: 최적화된 에이전트 조립하기

이제 라우터(router), 캐시(cache), 그리고 병렬 실행기(parallel executor)를 하나의 클래스로 결합합니다. 시스템 프롬프트(system prompt)는 구조화된 출력(structured output)을 강제하여 후속 파서(parser)가 중단되지 않도록 합니다. 또한 최종적으로 집계된 응답에 대해 스트리밍(streaming) 옵션도 제공합니다.

SYSTEM_PROMPT = """당신은 최적화된 기술 어시스턴트입니다.
1. 사용자의 프로그래밍 질문을 분석하십시오.
2. 간결한 설명을 제공한 뒤 코드 블록을 제시하십시오.
...

class OptimizedAgent:
    def __init__(self):
        self.client = client
...

실행하기

단순한 질문과 복잡한 질문을 섞어서 에이전트에 전달하여 라우터와 캐시가 작동하는 모습을 확인해 보세요.

test_queries = [
    "Python dictionary란 무엇인가요?",
    "다음의 오버플로가 발생하는 재귀 함수를 디버깅하세요: def fib(n): return fib(n-1) + fib(n-2)",
...

첫 번째 실행 시에는 캐시 미스(cache miss)가 발생하며, 라우터가 딕셔너리 질문에는 deepseek-v3.2를, 디버깅 작업에는 kimi-k2.6를, 아키텍처 비교에는 llama-3.3-70b를 선택하는 것을 볼 수 있습니다. 동일한 리스트를 두 번째로 실행하면 모든 결과가 캐시로부터 즉시 반환됩니다.

마무리

두 가지 구체적인 다음 단계가 있습니다. 첫째, 캐시를 Redis에 영구 저장하여 여러 워커 노드(worker nodes)가 동일한 요청 중복 제거 계층(request deduplication layer)을 공유하도록 합니다. 둘째, 규칙 기반 라우터(rule-based router)를 Oxlo.ai의 BGE-Large 엔드포인트에서 제공하는 임베딩(embeddings)을 사용하는 퓨샷 분류기(few-shot classifier)로 교체하여, 지연 시간(latency)을 추가하지 않고도 라우팅 정확도를 향상시킵니다.