저희는 구조화된 CDN(Content Delivery Network) 원격 측정 데이터와 고객 불만을 수집하여 근본 원인과 심각도를 추론하는 스트리밍 QoE(Quality of Experience) 분류 에이전트를 구축하고 있습니다. 이 에이전트는 통신 네트워크를 통해 미디어 전송을 운영하며, 맞춤형 ML 파이프라인을 구축할 필요 없이 평균 해결 시간(mean-time-to-resolution)을 단축해야 하는 플랫폼 엔지니어와 SRE(Site Reliability Engineer)를 대상으로 합니다. 저는 Oxlo.ai에서 추론 백엔드를 실행하는데, 그 이유는 긴 traceroute 덤프나 다중 라인 인코더 로그를 프롬프트에 담아도 요청당 가격이 변동 없이 일정하게 유지되기 때문입니다.

필요한 것들

• Python 3.10 이상
• https://portal.oxlo.ai에서 받은 Oxlo.ai API 키
• OpenAI SDK: pip install openai

Step 1: Oxlo.ai 클라이언트 부트스트랩

저는 OpenAI와 호환되는 클라이언트를 Oxlo.ai를 가리키도록 초기화하고, 신뢰할 수 있는 구조화된 출력을 위해 llama-3.3-70b를 선택합니다.

from openai import OpenAI

client = OpenAI(
...

Step 2: 인시던트 모델링

NOC(Network Operations Center) 도구가 무거운 변환 없이 JSON을 바로 덤프할 수 있도록 입력 스키마를 평평하게 유지합니다.

import json
from dataclasses import dataclass, asdict

...

Step 3: 시스템 프롬프트 작성

이 프롬프트는 모델을 알려진 JSON 스키마로 제한하고, 평소에 runbook에서 볼 수 있는 도메인 휴리스틱(domain heuristics)을 인코딩합니다.

SYSTEM_PROMPT = """당신은 스트리밍 미디어 전송을 전문으로 하는 선임 통신 운영 분석가입니다.

제공된 인시던트 데이터를 분석하여 다음 정확한 키를 가진 JSON 객체를 생성하십시오:
...

Step 4: 분류 함수 구현

이 함수는 인시던트를 직렬화하고, Oxlo.ai로 전송하며, 응답을 구문 분석합니다. 저는 결정론적 추론을 강제하기 위해 온도를 낮게 유지합니다. 전체 스니펫은 이전 정의를 반복하여 독립적으로 실행할 수 있도록 합니다.

import json
from dataclasses import dataclass, asdict
from openai import OpenAI
...
```":
        raw = raw.split(

## 마무리

이 에이전트는 사용자 지정 모델을 유지하지 않으면서 비정형적인 불만 사항과 지표를 구조화된 인시던트 메타데이터로 변환합니다. 구체적인 다음 단계는 두 가지입니다. 이 함수를 Kafka 컨슈머에 연결하여 티켓을 실시간으로 처리하게 하거나, BGP 라우팅 로그와 인코더 상태를 상관관계 분석해야 할 때 더 깊은 사고 과정(chain-of-thought reasoning)이 필요하면 Oxlo.ai의 `kimi-k2.6`으로 전환하는 것입니다. Oxlo.ai는 토큰당이 아닌 요청당 비용을 청구하기 때문에, 여러 줄에 걸친 syslogs나 traceroute 덤프를 컨텍스트 창에 채워 넣어도 비용이 증가하지 않습니다. 현재 요금제 옵션은 [https://oxlo.ai/pricing](https://oxlo.ai/pricing)를 참조하십시오.