우리는 복잡한 엔지니어링 질문을 분해하고, 트레이드오프를 평가하며, 스스로의 결론을 비평하는 명령줄 에이전트인 Deep Reasoning Architecture Advisor를 구축하고 있습니다. 이 도구는 높은 위험을 수반하는 인프라 결정에 앞서 구조화된 분석이 필요한 스태프 엔지니어 및 기술 리드에게 유용합니다.

준비물

• Python 3.10 이상.
• openai SDK. pip install openai로 설치하세요.
• https://portal.oxlo.ai에서 발급받은 Oxlo.ai API 키. 무료 등급에는 deepseek-v3.2와 16개 이상의 다른 모델이 포함되어 있어 신용카드 없이도 이 튜토리얼을 실행할 수 있습니다.

Step 1: Oxlo.ai 클라이언트 설정

먼저, 내 환경이 Oxlo.ai에 접근할 수 있는지 확인합니다. 이 플랫폼은 OpenAI SDK의 드롭인 대체재(drop-in replacement)이므로, base_url과 api_key만 변경하면 됩니다.

from openai import OpenAI

client = OpenAI(base_url="https://api.oxlo.ai/v1", api_key="YOUR_OXLO_API_KEY")
...

Step 2: 시스템 프롬프트 설계

모델이 사고의 흐름(chain of thought)을 외현화하도록 만들고 싶습니다. 아래 프롬프트는 구조화된 JSON 응답을 강제하여 모든 단계를 파싱하고 감사할 수 있게 합니다.

SYSTEM_PROMPT = """당신은 답변하기 전에 심층 추론을 수행하는 시니어 스태프 엔지니어입니다.
복잡한 아키텍처 질문이 주어지면, 단계별로 생각하세요.
반드시 이 스키마와 일치하는 JSON 객체만 응답하세요:
...

Step 3: 심층 추론 함수 구현

이제 프롬프트를 함수로 감쌉니다. 저는 kimi-k2.6을 사용하는데, 이는 고급 추론 및 에이전트 코딩 컨텍스트를 잘 처리하기 때문입니다. Oxlo.ai는 요청당 평면적인(flat per-request) 가격 책정을 사용하므로, 대규모 시스템 프롬프트와 상세한 사용자 질문을 보내더라도 토큰 기반 제공업체처럼 비용이 증가하지 않습니다. 자세한 내용은 https://oxlo.ai/pricing를 참조하세요.

import json
from openai import OpenAI

...

Step 4: 리플렉션 단계 추가

Step 4: 리플렉션 단계 추가

어려운 문제의 경우 단 한 번의 실행으로는 충분하지 않습니다. 저는 deepseek-v3.2를 사용하여 첫 번째 실행에서 나온 JSON 출력을 비평하는 '레드팀(red team)' 역할을 하는 두 번째 호출을 추가합니다. Oxlo.ai는 여러 추론 모델을 보유하고 있기 때문에, 별도의 제공업체 계정을 관리할 필요 없이 다양한 단계를 다른 전문가에게 라우팅할 수 있습니다.

import json
from openai import OpenAI

...

Step 5: 최종 보고서 조립하기

마지막으로, 원래의 분석과 비평을 읽기 쉬운 Markdown 보고서로 취합합니다. 이 단계는 순수 Python 코드이며 API 호출은 없습니다.

def final_report(question: str, analysis: dict, critique: dict) -> str:
    lines = [
        "# Deep Reasoning Report",
...

실행하기

저는 100억 개의 규모에 대한 벡터 데이터베이스 관련 현실적인 질문을 전달합니다. 아래 출력 예시는 Oxlo.ai에서 실행했을 때 볼 수 있는 결과의 대표적인 예시입니다.

if __name__ == "__main__":
    question = (
        "We need to store and query ten billion vector embeddings for a real-time "
...

출력 예시 (요약):

# Deep Reasoning Report
**Question:** We need to store and query ten billion vector embeddings for a real-time recommendation system. Should we use a specialized vector database like Pinecone or Milvus, or can we extend PostgreSQL with pgvector to meet latency requirements?

...

다음 단계

수렴 루프(convergence loop)를 추가합니다. 리플렉션 단계가 끝난 후, 비평 내용을 deep_reason에 추가 컨텍스트로 다시 공급하고, 신뢰도 점수가 안정화되거나 비평이 공백을 찾지 못할 때까지 반복합니다. 또한 수동으로 작성한 JSON 스키마를 Pydantic 모델로 대체하고 Oxlo.ai의 JSON 모드를 사용하여 더 엄격한 런타임 검증을 수행할 수도 있습니다.