AI 챗봇이 환각을 일으키는 것이 아니다. 오래된 문서를 읽고 있는 것이다.

지원 챗봇이 잘못된 답변을 할 때, 가장 먼저 떠오르는 생각은 모델의 잘못이라고 비난하는 것입니다. 하지만 이러한 실패 사례들이 지원 및 운영 커뮤니티에서 어떻게 설명되는지 살펴보니, 계속해서 다른 패턴이 나타났습니다. 바로 모델이 주어진 문서를 충실하게 반복하고 있다는 것이었습니다. 문제는 문서 자체였습니다.

일반적인 예시:

• 환불 기간에 대한 두 개의 FAQ 페이지 (7일 대 14일)
• 둘 다 '공식'이라고 되어 있는 서로 다른 지원 이메일 주소
• 마지막 검토가 2년 전인 정책
• 문자 그대로 '추후 결정(TBD)'이라고 적혀 있지만 여전히 검색되는 답변

챗봇은 모순을 해결할 수 없습니다. 가장 먼저 발견하는 페이지를 선택하기 때문에, 답변이 동전 던지기처럼 됩니다. 신입 직원들도 정확히 같은 방식으로 실패합니다.

이를 위한 작고 무료인 Claude 스킬

저는 Knowledge Freshness Audit라는 Claude 스킬을 만들었습니다. 이 스킬에 SOP(표준 운영 절차), 정책, FAQ 또는 도움말 문서를 첨부하면, 우선순위가 지정된 수정 목록이 반환됩니다:

1. 모순점 (Contradictions) - 동일한 주제에 대해 서로 다른 사실들을 파일 이름과 함께 나란히 인용합니다. 가장 위험하기 때문에 첫 번째로 나열됩니다.
2. 오래되었거나 날짜가 없는 문서
3. 중복 문서 (Duplicates) - 어떤 것을 유지할지에 대한 권장 사항 포함
4. 소유자 없음/미완성 문서 (초안, TBD 답변, 빈 섹션)
5. 누락된 정보 (Gaps) - 문서를 통해 답을 얻을 수 없는 명백한 질문들

두 가지 설계 결정

어떤 사실이 옳은지 결코 결정하지 않습니다. 한 페이지가 7일이라고 하고 다른 페이지가 14일이라고 하면, 이 스킬은 이를 플래그 지정하고 사용자에게 질문합니다. 현재 규칙을 아는 것은 오직 비즈니스만이 알기 때문에, 여기서 AI가 추측하는 것은 단지 진실의 세 번째 버전을 만들 뿐입니다.

보고서에서 개인 데이터를 제외합니다. 고객 이름, 전화번호 또는 계정 상세 정보를 복사하는 대신 파일과 줄을 참조합니다.

테스트 실행

테스트 실행

저는 의도적으로 문제가 심어진 네 개의 작은 문서에서 이를 테스트했습니다: 두 가지 모순(환불 기간 및 지원 이메일), 날짜가 없는 파일 세 개, 중복된 파일 하나, 소유자가 없는 파일 세 개, '추후 결정 (TBD)' 답변 하나, 그리고 답이 없는 질문 하나입니다. 이 기능은 이 모든 것을 찾아냈습니다. 테스트 문서와 전체 보고서는 레포지토리의 example/ 폴더에 있으니 직접 결과를 확인해 보실 수 있습니다.

사용해 보기

무료이며 MIT 라이선스입니다:
[https://github.com/sopkits/knowledge-freshness-audit]

Claude에서 .skill 파일을 설치하고 (Skills를 지원하는 플랜이 필요함), 문서를 첨부한 다음 다음과 같이 말하세요: "이 도움말 문서를 감사해 줘 - 우리 챗봇이 계속 잘못된 답변을 내놓고 있어."

피드백을 받고 싶습니다. 특히 놓치는 문제에 대한 피드백이면 좋겠습니다.

본 기사는 AI의 도움을 받아 작성되었으며, 게시 전에 제가 검토했습니다.