문의 내용을 AI로 분류하는 프롬프트와 리뷰 열(Column)을 만드는 방법

문의 내용을 AI로 분류할 때, 프롬프트만 만들면 운영 단계로 되돌리기 어려워집니다.

AI는 카테고리, 우선순위, 담당자 후보, 영업 메일 여부, 답장 초안까지 출력할 수 있습니다.

하지만 그 결과를 어디에 저장하고, 누가 확인하며, 어디서 확정값으로 바꿀지를 정해두지 않으면 AI 출력은 채팅창에서 사라져 버립니다. 더 나쁜 경우에는 AI의 후보값이 어느샌가 확정값으로 취급되기도 합니다.

문의 AI 분류는 프롬프트와 리뷰 열(Review Column)을 세트로 만들어야 합니다.

먼저, AI 출력을 나눕니다.

summary
category_candidate
priority_candidate
...

여기서 중요한 것은 후보(Candidate)와 확정(Final)을 섞지 않는 것입니다.

항목	AI가 내놓는 것	사람이 확정하는 것
카테고리	category_candidate	final_category
우선순위	priority_candidate	final_priority
담당자	owner_candidate	owner
영업 메일 판정	sales_or_legitimate_candidate	final_sales_or_legitimate
답장 문구	reply_draft	reply_final 또는 송신 판단

reply_draft는 송신 문구가 아니라 초안(Draft)입니다.

reason은 왜 그렇게 분류했는가에 대한 이유입니다.

confidence는 AI 측의 자기 평가(Self-evaluation)이지 승인이 아닙니다.

문의 분류에서는 자연어 응답보다 JSON 형식이 운영에 적용하기 더 쉽습니다.

예를 들어, 다음과 같은 형태입니다.

{
"summary": "법인 플랜의 요금과 도입 시기에 대해 상담 중",
"category_candidate": "pricing",
...

JSON 항목을 고정하면 리뷰 열로 그대로 저장할 수 있습니다.

프롬프트는 역할, 입력, 출력 형식, 금지 사항을 나눕니다.

당신은 문의 대응의 1차 분류 담당자입니다.
다음의 문의 본문과 주변 항목을 읽고, JSON 형식으로 분류 후보를 반환해 주세요.
입력:
...

포인트는 needs_review를 마련하는 것입니다.

AI에게 흑백을 강요하면 오분류가 늘어납니다. 망설여지는 것은 인간의 확인 단계로 넘깁니다.

AI 출력을 받아내는 열은 후보와 확정을 나눕니다.

ai_summary
ai_category_candidate
final_category
...

이 열이 있으면 AI가 낸 후보와 사람이 확정한 값을 구분할 수 있습니다.

human_review_status는 다음과 같은 값으로도 충분합니다.

unreviewed
approved
edited
...

리뷰 전에는 unreviewed. AI 후보를 그대로 채택했다면 approved. 사람이 수정했다면 edited. 사용하지 않았다면 rejected. 판단이 무거운 것은 needs_second_review.

이러한 상태가 있으면 AI 분류 결과를 어디까지 신뢰해도 될지 나중에 파악할 수 있습니다.

confidence는 리뷰 순서의 기준입니다.

승인이 아닙니다.

confidence > 0.9 라면 자동 답장

이러한 규칙은 피해야 합니다.

문의에는 계약, 환불, 채용, 개인정보, 장애, 클레임이 섞여 있습니다. AI가 높은 확신(Confidence)을 보이더라도, 외부로 송신해도 좋다는 허가는 아닙니다.

confidence는 높은 것을 확인을 생략하기 위해서가 아니라, 낮은 것을 먼저 리뷰하기 위해 사용합니다.

실무에서는 리뷰 순서도 정합니다.

1. human_check_required = true
2. priority_candidate = high
3. sales_or_legitimate_candidate = needs_review
...

이 순서라면 AI 분류를 그대로 믿는 것이 아니라, 위험한 것부터 인간이 확인할 수 있습니다.

AI 분류를 도입하면 needs_review나 unreviewed가 쌓이기 쉽습니다.

그대로 방치하면 분류는 했지만 아무도 확정하지 않은 상태가 됩니다.

최소한, 다음 조건으로 리뷰 큐(Review Queue)를 만듭니다.

human_review_status = unreviewed
or ai_confidence < 0.7
or sales_or_legitimate_candidate = needs_review
...

이 큐(Queue)를 매일 확인하는 것만으로도, AI 후보군이 업무로 복귀하기가 훨씬 수월해집니다.

AI에게 맡기는 것은 읽는 순서를 정리하는 단계까지입니다.

요약
카테고리 후보
우선순위 후보
...

사람의 확인을 남겨두어야 하는 영역은 다음과 같습니다.

실제 답장 전송
담당자 확정
상태(Status) 확정
...

이 부분을 분리하면 AI 분류가 매우 편리해집니다. 분리하지 않으면 문의 대응의 책임 경계가 모호해집니다.

문의 AI 분류는 프롬프트(Prompt)만으로 시작하지 않는 것이 좋습니다.

분류 후보를 도출하는 프롬프트와 사람이 확인하는 리뷰 열(Review Column)을 동시에 만드세요.

후보와 확정을 분리할 것. JSON 형식을 고정할 것. confidence를 승인 기준으로 삼지 말 것. 실제 답장이나 담당자 확정은 사람의 확인을 남겨둘 것.

문의 AI 분류의 전체 설계는 FORMLOVA 측의 기사에 정리되어 있습니다.