고객 지원 지식 기반 구축 시작하기: 무엇으로 채워야 할까

지원 챗봇의 성능은 지식 기반에 달려 있고, 지식 기반의 성능은 시드 코퍼스(seed corpus)에 달려 있습니다. 좋은 소식은 바로 출시 전에 수백 개의 항목이 필요하지 않다는 것입니다. 잘 선택된 20~30개의 항목만으로도 첫날 대부분의 반복적인 질문을 처리할 수 있으며, 이후 누락된 로그를 통해 빈틈을 채울 수 있습니다. 콜드 스타트(Cold start)는 양(volume)의 문제가 아니라 선택(selection)의 문제입니다.

세 가지 소스 유형

채팅 로그. 지난 한 달간의 실제 대화를 내보내기(Export)하여 질문 유형별로 그룹화하고, 가장 빈번한 클러스터가 첫 번째 항목이 됩니다: 가격 책정, 배송 시간, 택배사, 할인, 반품, 청구서 작성. 실제 표현 방식은 꾸며낸 표현보다 항상 우수합니다.

애프터세일즈 정책. 이것은 채팅 로그에 있는 것이 아니라 쇼핑몰 규칙에 있습니다: 7일 반품 기간이 언제 시작하는지, 누가 반품 배송비를 지불하는지, 파손된 상품의 경우 어떻게 되는지, 환불 기한. 이 항목들은 고정된 정책으로 작성되어야 합니다—돈과 책임 문제가 걸려 있으므로 모델이 절대로 즉흥적으로 처리하게 해서는 안 됩니다.

제품 매개변수. 크기, 재질, 색상, 호환성, 관리 지침. 패턴: 질문하는 방법은 다양하지만 답변은 짧고 하나입니다. 이들을 구조화된 항목으로 저장하세요—하나의 매개변수에 동의어 질문 그룹을 첨부합니다.

첫날에 필요한 항목 개수

빈도(frequency)를 기준으로, 커버리지(coverage)가 아닌 20~30개가 필요합니다. 지난 한 달간의 대화를 질문 유형별로 정렬하고, 가장 상위 클러스터를 가져와서 긴 꼬리(long tail)에 도달할 때까지 진행하세요—이 꼬리는 빈도가 낮고 수동으로 처리하기 쉽습니다.

첫 번째 배치에는 반품, 환불, 배송 시간 질문을 포함하는지 확인하세요. 이들은 가장 빈번하면서도 분쟁 가능성이 높은 주제이며, 일관된 정책으로 답변하는 시스템이 세 명의 상담원이 세 가지 다른 방식으로 답변하는 것보다 낫습니다.

하나의 항목 구조 분석

각 항목은 네 부분으로 구성됩니다:

• 구매자 관점의 질문: "제 주문은 언제 배송되나요?"가 아니라 "물류 서비스 수준 협약(SLA) 개요" 같은 것이 아닙니다.
• 답변은 결론을 먼저 제시해야 합니다. "16시 이전 주문 건은 오늘 발송되며, 그 이후는 다음 영업일에 발송됩니다."와 같이 판결(verdict) 후에 조건을 제시합니다.
• 키워드 그룹화: 동일한 질문의 모든 일반적인 표현들을 묶습니다. 예: 얼마나 걸리나요, 언제 배송되나요, 며칠이 걸리나요, 제 운송장 번호는 어디에 있나요.
• 경계 설정(Boundary): 이 항목이 적용되지 않는 경우와 사람이 개입해야 하는 상황을 명확히 합니다. "맞춤 주문은 당일 배송 자격이 절대 되지 않으므로, 항상 스케줄링 담당자에게 인계합니다."

경계 설정 없이는 챗봇이 부적절한 상황에서 답변하는 실패 모드가 발생하며, 이것이 사용자들이 기억하는 문제입니다.

간과하기 쉬운 두 가지 세부 사항

동의어가 표준 구문보다 많습니다. "배송"이라는 단어만으로도 구매자들은 다음과 같이 작성합니다: 얼마나 걸리나요, 이미 발송되었나요, 제 운송장 번호는 어디에 있나요, 왜 이렇게 느린가요. 코퍼스(corpus)를 문장 단위가 아닌 주제별로 구성해야 합니다. 즉, 하나의 주제당 한 그룹의 표현들을 묶어야 합니다.

부정적 표현도 항목이 필요합니다. "신경 쓰지 마세요", "배송하지 마세요", "이건 환불 요청이 아닙니다" 같은 표현들은 긍정적인 질문들과 단어 몇 개 차이만 나며 전형적인 오탐지(false triggers)를 유발합니다. 이들을 시딩(seeding, 초기 학습 데이터 주입) 과정에서 제외 항목으로 넣어두는 것이 출시 후 대응하는 것보다 훨씬 저렴합니다.

출시 후의 유지보수 주기

• 주간: 미스 로그(miss log)에서 항목을 가져옵니다. 즉, 일치하지 않은 질문과 잘못 답변한 매칭 건들을 확인합니다.
• 격주: 가지치기(prune)를 합니다. 만료된 캠페인, 변경된 사양, 업데이트된 정책 등을 정리합니다. 오래된 콘텐츠는 누락된 콘텐츠보다 더 나쁩니다.
• 월간: 현재 규칙에 대해 시드 항목을 회귀 테스트(regression-test)합니다.

이렇게 하면 지식 기반은 출시 후 일주일 만에 구식이 되는 문서가 아니라 지속적으로 정확도가 높아지는 코퍼스(corpus)가 됩니다. 저희는 이 방식으로 자체 지원 자동화 스택을 운영하고 있습니다. 트리거-규칙 설정과 [누락 메시지 폴백(fallback)] 모두 상세하게 작성되어 있으며, 각 답변이 지식 기반에서 왔는지 아니면 폴백 템플릿에서 왔는지를 기록하는 방법까지 포함하고 있습니다.