감성 분석이 보지 못하는 것: 70,000건의 고객 지원 대화를 통해 고객이 도움을 받았는지, 무엇이 잘못되었는지 측정하기

대부분의 기업은 감성 분석 (sentiment analysis)을 사용하여 대규모로 고객 지원 데이터를 읽지만, 이는 고객이 결과에 만족했는지보다는 고객의 말투가 어떠한지를 측정합니다. 우리는 선도적인 온라인 모금 플랫폼의 70,450건의 고객 지원 대화를 대상으로 더 풍부한 대안을 테스트했습니다. 우리는 어조 (tone)와 더불어, GPT-5.4를 사용하여 각 고객의 만족도를 추정하고 구체적인 문제를 보고했는지 여부를 표시했으며, 이후 이 세 가지 판독 값을 고객이 대화에 남긴 1~5점 사이의 평점과 대조하여 검증했습니다. 만족도 추정치는 감성 분석보다 해당 평점을 훨씬 더 잘 추적했으며, 상관관계는 0.36 대비 0.47을 기록했고 훨씬 적은 오보 (false alarms)로 불만족스러운 고객을 식별해냈습니다. 이러한 구조화된 판독은 감성 분석이 볼 수 없는 것을 포착합니다. 대화의 44%에서 어조와 만족도가 일치하지 않으며, 단일한 "중립 (Neutral)" 레이블은 조용히 만족한 고객부터 조용히 포기한 고객에 이르기까지 모든 것을 숨깁니다. 그리고 가장 큰 그룹은 바로 "용인된 마찰 (tolerated friction)"으로, 만족은 하지만 여전히 해결 가능한 문제를 보고하고 있는 고객들입니다. 이는 감성 기반의 대시보드로는 드러낼 수 없는 고질적인 문제입니다. 더 광범위한 발견은 LLM 기반의 주석 달기 (annotation)가 고객 언어의 어조보다 훨씬 더 많은 것을 포착할 수 있다는 점입니다. 이는 상호작용 및 피드백의 가공되지 않은 텍스트 데이터에서 직접 추출한 고객의 상태(만족 여부)와 문제의 원인에 근거한 새로운 비즈니스 지표를 제공할 강력한 잠재력을 가지고 있습니다.