문의 응대 시 AI에게 초안을 작성하게 할 때, 먼저 만들어야 하는 '답변 대장'

대상: 고객 대응・접수・고객 지원 부서에서 AI의 시험 도입을 맡은 관리직・리더
내용: '회신 초안을 AI가 작성하도록 한다'고 결정한 후, 운영을 시작하기 전에 정비해 둘 '답변 대장'과 그 활용 방법
대상 제외: AI 모델 선정, 프롬프트 기술적 기교, 툴 비교

"문의 응대에 회신 초안을 AI에게 작성하게 하는" 이야기는 듣는 기회가 늘었다. 하지만 대장 없이 시작했던 현장의 실패 방식은 비슷하다. 같은 종류의 질문에 대해 시기나 담당자에 따라 다른 답변이 나오게 된다. 고객 입장에서 보면, 창구의 말이 날짜별로 흔들리는 것이다. 이는 AI 능력의 문제가 아니라, 답변의 근거가 되는 자료가 현장에 갖춰지지 않은 채 전달되고 있다는, 순서상의 문제다.

대장(台帳)이란, 문의의 종류별로 현재 시점의 정답을 적어 놓은 표이다. 1행의 최소 구성은 다음 4개 항목에 수록된다.

• 종류: 문의 형태의 이름
• 답변: 이 유형에 대해 지금 내보내도 되는 문구
• 재검토일: 이 문구를 마지막으로 확인한 날
• 대상 외 조건: 이 경우에만은 대장을 사용하지 않고 사람이 대응한다는 구분

처음부터 모두 아우를 필요는 없다. 빈번하게 발생하는 종류부터 20행, 많아도 30행으로 시작한다. 오히려 크게 만들면 유지하기 어려워진다. 여기서 중요한 것은, 대장의 1행이 AI에게 지시의 최소 단위가 된다는 점이다. 대장이 없는 상태에서 AI에게 초안 작성을 맡기면, AI 측에 '현재의 정답'을 가르칠 단서가 없어지고, 과거 회신들을 모아놓은 것이 되기 쉽다. 순서상으로는, 대장을 만든 후에 전달해야 한다.

넣을 것이 결정되면, 넣지 않을 것도 결정된다. 넣지 않는다는 것은, 그 종류를 AI 초안 대상에서 제외한다는 의미이다. 구분 기준은 3가지가 있다.

• 금액이나 조건의 개별 협상이 관련된 종류. 답변이 대장에 고정될 수 있는 성질이 아닌 것
• 책임 소재가 관련된 종류. 대응하는 말의 무게가 사안마다 달라지는 경우
• 개인 정보를 다루는 조회. 본인 확인 방법이 답변의 전제가 되는 경우

이 3가지에 해당하는 종류는, 대장의 '대상 외 조건' 열에 이름만 적어 놓는다. 적어 놓는 것과 안 하는 것으로 현장 판단 속도가 달라진다. "이것은 AI로 하지 않는다"라고 표에 이름이 있는 것만으로도, 새로 온 담당자라도 전달해서는 안 되는 것을 구분할 수 있다.

대장이 갖춰지면, 운영은 채택 여부 기록으로 넘어간다. 초안을 그대로 채용할지, 수정할지, 철회할지. 여기서 기록해 둘 것은, 채용 이유가 아니라, 일탈 내용 쪽이다. 대장의 문구에서 벗어난 부분과, 벗어난 방향을 남긴다.

일탈한 회신이 같은 유형으로 반복해서 나오면, 고치는 것은 초안 확인자가 아니라 대장 자체여야 한다. 같은 부분이 일탈하는 것이 계속된다는 것은, 대장의 1행이 현장의 실제 상황을 따라가지 못하고 있다는 의미이기 때문이다. 즉 운영 조정은 2단계로 나뉜다. 개별 회신 확인은 그 자리에서 끝내고, 대장 수정은 주 1회 정도로 집중한다. 이 구분이 없으면, 확인할 때마다 대장이 수정되어 답변의 기준 자체가 흔들리기 시작한다.

구조만으로는 이해하기 어려우므로, 가상의 물류 회사 접수팀을 예로 들어 절차를 나열해 본다. 이 예시는 설명 목적의 가정이며, 특정 사업자의 실제 사례가 아니다.

전제는, 배송 일시 변경, 부재 시 재배달, 파손 클레임 3가지 종류로 문의가 구성되어 있는 현장이다.

• 대장을 3행부터 만들기 시작한다. 배송 일시 변경과 재배달의 2행은 정형화할 수 있다. 파손 클레임은 사진・책임・금액이 관련되므로 '대상 외 조건' 열에 이름만 적어 놓고, 사람이 대응한다.
• 배송 일시 변경 행을 채운다. 답변 문구, 재검토일, 그리고 대상 외 조건으로 '익일 이후 출하가 관련된 변경'을 구분해 둔다.
• 접수 담당자는, 먼저 문의를 종류에 대입하고, 해당 행을 AI에게 전달하여 초안을 작성하게 한다. 종류에 맞지 않는 것은 처음부터 사람의 대응으로 한다.
• 확인자는, 대장의 문구에서 일탈한 부분만 고친다. 표현 선호도의 수정은 하지 않는다.
• 주 1회, 일탈 기록을 보고, 반복되는 일탈이 있었던 행을 고친다. 재검토일을 업데이트한다.

세부적인 문제가 2가지 있다. 하나는 종류의 대입 실수로, 비슷한 형태의 문의를 다른 유형에 넣어버리는 것이다. 대장의 행 수가 늘어날 시기에 발생하기 쉽다. 또 하나는 대상 외 구분 소홀로, 경계선상의 사안이 전달되는 것이다. 둘 다 처음 2주 동안 일어나므로, 그 기간 동안만 확인자의 검토 쪽을 강화한다.

효과 측정 방법은 현장마다 정하는 것이 타당하며, 최소한의 기록은 2가지다. '최초 회신까지 걸린 시간'과 '재작업이 된 회신의 건수'이다. 시간이 짧아져도 재작업이 줄지 않는다면, 정확성의 기준이 대장에 갖춰지지 않은 것이다. 재작업이 줄어도 시간이 짧아지지 않는다면, 대장 대조에 시간이 너무 많이 걸리고 있다는 의미다. 이 2가지 숫자로 운영 측의 수정할 부분을 판단할 수 있다.

문의 응대를 AI에게 맡길 때, 순서상으로는 대장을 만든 후에 전달한다. 정해 놓을 것은 다음 3가지이다.

• 장부(대장)의 한 행 구성. 유형, 답변, 검토일, 제외 조건
• 대장에 기록하지 않을 유형 구분. 금액 협상, 책임 소재, 개인 정보 조회
• 이탈 수정 위치. 개별 회신은 그 자리에서, 대장의 수정은 주간 단위로 취합한다

이 순서는 사내용 정형 안내, 규정 문의 답변, 거래처 대상 진행 상황 연락에도 동일하게 응용할 수 있다. 이번 주에 할 일을 하나만 꼽자면, AI 도구 선정보다는 빈번한 문의 20개 분량의 대장을 작성하는 것이다.