대부분의 챗봇 감사는 '무엇이 잘못되었는지'에서 끝납니다. 저희는 제안된 수정 사항들이 실제로 작동하는지 알고 싶었기 때문에 이를 적용하고 다시 테스트했습니다. 대본 증거와 함께 전후 비교를 보여드립니다.

설정

저희는 이커머스 고객 지원 봇을 BotCritic을 통해 실행했습니다. 주문 추적, 반품, 환불, 사이즈, 일반 제품 질문 등 네 가지 고객 페르소나(Curious, Frustrated, Confused, Technical)를 대상으로 했습니다.

첫 번째 테스트: 100점 만점에 86점 — B등급.

견고했지만 수정 가능한 특정 격차가 있었습니다. 저희는 BotCritic이 제안한 수정 사항을 적용하고 동일한 테스트를 다시 실행했습니다.

두 번째 테스트: 100점 만점에 91점 — A등급.

정확히 무엇이 바뀌었는지, 그리고 그 변화가 단순히 숫자가 아니라 왜 더 중요한지 설명해 드립니다.

실제로 잘못되었던 점 (첫 번째 테스트)

잘못된 주문 조회 순서. 좌절한 사용자가 2주 동안 소포를 받지 못했다고 말했습니다. 봇은 주문 번호를 물어본 다음, 그것을 받은 후에는 아무것도 조회할 수 있는 실시간 접근 권한이 없다고 인정했습니다. 잘못된 기대감에 이어서 철회하는 것은 이미 불안해하는 고객에게는 정확히 잘못된 순서입니다.

누락된 품목 상태 요구 사항. 모든 반품 관련 대화에서 30일 기간은 설명했지만, 반품된 품목이 착용되지 않았고, 세탁되지 않았으며, 태그가 부착되어 있어야 한다는 점은 단 한 번도 언급하지 않은 격차였습니다. 이는 창고 거부 및 분쟁으로 직접 이어집니다.

모호한 환불 트리거. 봇은 환불이

우리는 이 내용을 봇의 시스템 프롬프트에 삽입했고—다른 것은 아무것도 변경하지 않았습니다—그리고 정확히 동일한 4가지 페르소나 테스트 스위트를 다시 실행했습니다.

재테스트에서 바뀐 점

좌절하는 페르소나: 허위 주문 조회 시퀀스가 사라졌습니다. 이제 봇은 실시간 접근 권한이 없다는 사실을 인정하기 전에 불필요한 데이터 수집 단계 없이 즉시 추적 링크로 리디렉션합니다.

상품 상태 요구사항이 모든 반품 관련 응답에 일관되게 나타납니다. 네 가지 페르소나 모두에서 더 이상 침묵으로 생략되지 않습니다.

환불 트리거가 정확하게 명시됩니다: “5~7 영업일의 기간은 배송사가 라벨을 스캔했을 때가 아니라 창고가 수령을 확인한 후에 시작됩니다.” 고객이 자신의 돈을 추적하는 과정에서 더 이상 모호함이 없습니다.

30일 경고가 이제 선제적입니다. 사용자가 모호하거나 긴 시간대를 나타내면, 봇은 그들이 자격이 없을 수도 있는 단계를 안내하기 전에 즉시 적격성 위험(eligibility risk)을 알립니다.

점수 분석: 전과 후

카테고리	이전 (86점)	이후 (91점)
정확도 (Accuracy)	85점	91점
...

가장 큰 점프는 견고성(Robustness)입니다. 이는 모든 수정된 문제가 근본적으로 봇이 모호성, 누락된 데이터, 엣지 케이스 타이밍을 처리하는 방식에 관한 것이었기 때문에 당연합니다. 핵심 정책 지식은 첫 번째 실행에서 이미 정확했기 때문입니다.

의도적으로 고치지 않은 부분

91/100점에서도 보고서는 남아 있는 더 작은 격차들을 지적했습니다. 존재하지 않는 개발자 API에 대한 질문에서 약간 완곡한 표현을 사용한 점과, 좌절감에 찬 대화 초기에 에스컬레이션 임계값(escalation threshold)을 언급할 기회를 놓친 것이었습니다. 저희는 이 테스트를 위해 이 부분들을 그대로 두었는데, 이는 아무리 강력하게 재테스트된 시스템 프롬프트라도 여전히 남아 있는 작은 문제들의 계층이 있다는 것을 보여주기 위함입니다. 감사(audit)는 한 번에 끝나는 이벤트가 아니라 과정이기 때문입니다.

버그보다 재테스트가 더 중요한 이유

어떤 도구든 문제 목록을 생성할 수 있습니다. 더 어렵고 유용한 질문은 다음과 같습니다: 제안된 수정 사항들이 실제로 작동하는지, 아니면 그저 그럴듯하게 들리는지에 불과한지? 동일한 테스트 스위트(test suite)를 전후에 실행하는 것이 확실히 알 수 있는 유일한 방법입니다. 그리고 이 경우, 몇 가지 특정하고 목표 지향적인 프롬프트 변경 사항들이 실제로 측정 가능한 점프를 만들어냈으며, 이는 정확히 수정하고자 했던 범주였습니다.

이것이 AI 에이전트 감사를 위해 유지해야 할 실제 기준점입니다: 단순히 “여기에 무엇이 잘못되었는지”를 제시하는 것이 아니라, “수정이 작동한다는 증거”를 제시하는 것입니다.

BotCritic은 현실적인 고객 페르소나로 AI 챗봇과 에이전트를 스트레스 테스트하고, 수정 사항을 적용한 후 재테스트하여 실제로 작동함을 입증할 수 있도록 합니다. 성적 보고서(A–F), 발견된 정확한 버그들, 그리고 재작성된 시스템 프롬프트를 받아보세요. 무료 티어가 제공되며 카드 등록이 필요 없습니다.

botcritic.pro에서 무료 감사 실행하기 →