추측하지 않는 챗봇: 고객 서비스에 AI를 접지시키기

지원 챗봇은 검토된 콘텐츠만을 답변해야 하며, 출처를 인용하고 모르는 경우 그렇게 말해야 합니다. 이를 설계하고 테스트하는 방법입니다.

고객 서비스를 위한 챗봇을 직접 구축하거나 구매할 때 가장 중요한 설계 결정은 모델 자체가 아닙니다. 봇이 답변을 얻도록 허용되는 곳이 핵심입니다. 자유롭게 답변하는 봇은 자신감 있게 들리지만 틀릴 수 있으며, 고객에게 제공하는 모든 답변에 대해 회사가 판매업체가 아닌 책임을 져야 합니다.

'접지(grounded)'란 무엇인가요?

접지된 (grounded) 챗봇은 정의된 출처, 보통 회사의 지식 기반에서 나온 콘텐츠로만 답변할 수 있으며, 각 답변이 어디서 왔는지 보여줄 수 있어야 합니다. 실제로는 다음과 같습니다:

• 게시된 기사만을 사용하여 답변합니다. 반품 기간에 대해 질문하면, 반품 관련 기사를 검색하여 그 내용으로 답변을 구성합니다. 지식 기반에 반품에 관한 내용이 없으면, 임의로 기간을 만들어내서는 안 됩니다.
• 출처를 인용합니다. 고객은 어떤 기사를 바탕으로 답변이 작성되었는지 보고 클릭할 수 있습니다.
• 정보 부족을 인정합니다.

모델이 환각(hallucinate)을 일으키는 이유, 그리고 RAG만으로는 해결되지 않는 이유

환각이란 신뢰성 있게 들리지만 어떤 자료에서도 근거를 찾을 수 없는 답변입니다. OpenAI 연구원들은 2025년에 훈련 및 평가 과정이 불확실성을 인정하는 것보다 추측에 보상하는 방식을 설명했는데, 이는 빈칸은 점수를 얻지 못하지만 추측은 때때로 점수를 얻는 객관식 시험과 비슷합니다.

검색(Retrieval)은 문제를 줄여주지만 제거하지는 못합니다. Stanford RegLab의 2024년 평가는 검색 기반으로 구축된 상업용 법률 리서치 도구들이 여전히 상당한 비율의 테스트 질문에서 환각을 일으킨다는 것을 발견했습니다. 핵심 교훈은 다음과 같습니다: 검색은 필수적이지만, 봇은 또한 검색된 내용에 국한되어야 하며 답변이 누락되었음을 말할 수 있도록 허용해야 합니다.

회사(기업)가 봇의 발언에 대한 책임 소재를 갖는다

Moffatt v. Air Canada (2024) 사건에서, 한 항공사의 챗봇은 여행객에게 유족 할인(bereavement discount)을 소급하여 청구할 수 있다고 말했지만, 같은 사이트의 다른 페이지에서는 정반대의 내용을 담고 있었습니다. 해당 항공사는 챗봇이 별개의 개체라고 주장했습니다. 그러나 재판소는 동의하지 않았습니다: 봇은 웹사이트의 일부이며, 회사가 그 발언에 대한 책임을 집니다. 전자상거래에서도 같은 메커니즘으로 아무 시스템 확인 없이 조작된 할인 코드, 잘못된 반품 기간 또는 배송 약속 등이 생성됩니다.

또한 투명성 요구사항도 있습니다: EU AI Act 제50조에 따라, 사람들은 2026년 8월 2일부터 자신이 AI 시스템과 상호작용하고 있다는 사실을 알려야 합니다. Supportifier는 GDPR 및 고객 서비스에서의 AI에서 데이터 측면을 다룹니다.

모든 공급업체를 위한 10가지 질문 테스트

봇이 'AI를 사용한다'고 묻지 마십시오. 대신, 무엇에 답할 수 있는지, 그리고 답변이 존재하지 않을 때 무슨 일이 발생하는지를 물어보십시오. 그런 다음 자체 자료로 테스트해 보십시오:

• 명확한 아티클(article)을 가진 5가지 질문 → 봇은 답변하고 출처를 인용해야 합니다.
• 아티클이 없는 3가지 질문 → 그러다고 말하거나 담당자에게 이관해야 합니다.
• 자체 자료의 출처가 서로 모순되는 2가지 질문 → 충돌을 보여주어야 합니다.

또한 다음 사항들을 물어보십시오: 봇이 답변할 수 없었던 질문 목록을 볼 수 있습니까? 어떤 사람이 사용된 콘텐츠를 게시할 수 있으며 검토 과정이 있습니까? 개인 데이터가 표시되기 전에 고객은 어떻게 식별됩니까? 보상, 가격 예외 및 법률 평가와 같은 주제는 차단할 수 있습니까? 출시 후 오류는 어떻게 측정합니까?

인계(Handover) 설계하기

자료가 누락되었을 때, 고객이 요청했을 때 항상, 그리고 돈, 계약 또는 불만 사항과 관련된 경우에는 원활하게 인계해야 합니다. 좋은 인계란 고객이 같은 내용을 반복하지 않도록 하는 것(전체 대화 내용이 티켓으로 전달됨), 담당자가 봇이 사용한 아티클을 확인하여 해당 아티클을 수정할 수 있게 하고, 외부 근무 시간까지 포함하여 연락 경로가 보이게 하는 것을 의미합니다.

인계는 봇과 사람이 동일하게 검토된 콘텐츠를 기반으로 작업할 때 가장 간단합니다. AI가 초안을 제안하고 담당자가 전송하기 전에 검토하는 경우에도 같은 원칙이 적용됩니다. 검토된 AI 초안이 초기 단계에서 완전 자동화보다 나은 이유를 참조하십시오.

체크리스트

• 모든 주요 질문에는 담당자가 지정된 게시글이 존재합니다.
• 현재 사용 중인 챗봇이나 공급업체 데모에 대해 '10가지 질문 테스트'를 실행해 보세요.
• 챗봇이 단독으로 처리하지 못하는 주제 목록(블랙리스트)을 작성하세요.
• 인계 규칙을 문서화하세요: 언제, 누구에게, 어떤 컨텍스트와 함께 전달할지 명시합니다.
• 매주 답변되지 않은 질문들을 검토하고 누락된 게시글을 작성하세요.
• 답변 출처별 점유율(share of answers with a source), 인계 건수(share of handovers), 그리고 주간 재접촉률을 추적하세요.