우리는 비정형 고객 메시지를 분류하고 1차 응답 초안을 작성하는 지원 티켓 트리아지 에이전트를 구축할 것입니다. LLM이 전통적인 NLP 파이프라인을 대체한 이유를 알아보기 위해, 먼저 취약한 규칙 기반 분류기를 구현한 다음, Oxlo.ai를 통해 이를 LLM으로 교체하고 동일한 입력에 대한 결과를 비교해 볼 것입니다.

준비물

• Python 3.10 이상 버전.
• https://portal.oxlo.ai에서 받은 Oxlo.ai API 키. 무료 등급은 하루 60개의 요청을 포함하며, 이 튜토리얼에는 충분합니다.
• OpenAI SDK. pip install openai로 설치하세요.

Step 1: 전통적인 분류기 구축

전통적인 AI 모델은 피처 엔지니어링(feature engineering), 정규 표현식(regular expressions), 그리고 고정된 어휘집에 의존합니다. 우리는 LLM과 비교할 구체적인 기준선(baseline)을 갖기 위해 작은 키워드 기반 전문가 시스템을 구현할 것입니다.

import re

KEYWORD_MAP = {
...

Step 2: LLM 에이전트 시스템 프롬프트 정의

LLM은 TF-IDF 행렬이나 정규식 목록이 필요하지 않습니다. 우리는 자연어로 작업을 설명하고 모델이 원시 텍스트를 기반으로 추론하도록 합니다. 다음은 우리의 Oxlo.ai 에이전트가 사용할 시스템 프롬프트입니다.

SYSTEM_PROMPT = """당신은 지원 티켓 트리아지 에이전트입니다.
고객의 메시지를 분석하고 정확히 두 개의 키를 가진 JSON 객체를 생성하세요:
  category: billing, account, bug, shipping, 또는 other 중 하나
...

Step 3: Oxlo.ai LLM 분류기 연결

우리는 전통적인 모델을 Oxlo.ai로의 단일 API 호출로 대체합니다. Oxlo.ai는 요청당 평면 요금(flat per-request pricing)을 사용하기 때문에, 고객이 긴 로그나 스크린샷을 붙여넣어도 비용이 증가하지 않아 에이전트 워크로드에 예측 가능합니다.

from openai import OpenAI
import json

...

Step 4: 두 시스템 비교

동일한 모호한 티켓을 두 파이프라인 모두에 입력해 보세요. 규칙 엔진은 키워드를 세는 데 그치고 다중 의도 메시지에서는 무너지는 반면, LLM은 의도를 추출하고 유용한 답변 초안을 작성합니다.

test_messages = [
"I was charged twice last Tuesday and now I cannot log in either",
"Your latest update made the whole thing unusable on my phone",
...
]

실행하기 (Run it)

전체 스크립트를 triage.py로 저장하고, 실제 Oxlo.ai API 키로 교체한 다음, 터미널에서 실행하세요.

$ python triage.py

Ticket: I was charged twice last Tuesday and now I cannot log in either
...

요약 (Wrap-up)

이제 구조화되지 않은 언어 작업에서 LLM이 왜 전통적인 규칙 기반 시스템보다 뛰어난지 구체적으로 비교할 수 있습니다. LLM은 정규 표현식(regex) 유지보수 없이도 다중 의도를 가진 티켓, 모호한 문구, 그리고 맥락을 처리합니다.

두 가지 구체적인 다음 단계가 있습니다: llm_classify를 FastAPI 엔드포인트로 래핑하여 새로운 티켓이 Oxlo.ai 에이전트에 자동으로 도달하게 하거나, 함수 호출(function calling) 기능을 추가하여 응답하기 전에 에이전트가 CRM을 조회할 수 있도록 하는 것입니다. 만약 토큰 기반 제공업체에서 이동하는 경우, Oxlo.ai의 요청 기반 가격 책정 방식은 긴 컨텍스트 티켓에 대한 비용을 평준화할 수 있습니다. 플랜 세부 정보는 https://oxlo.ai/pricing를 참조하세요.