감성 분석이 보지 못하는 것: 70,000건의 고객 지원 대화를 통해 고객이 도움을 받았는지, 무엇이 잘못되었는지 측정하기

요약

감성 분석의 한계를 극복하기 위해 LLM을 활용하여 고객 지원 대화의 만족도와 구체적인 문제를 측정하는 새로운 방법을 제안합니다. 7만 건의 데이터를 분석한 결과, LLM 기반의 분석이 기존 감성 분석보다 고객 평점과 더 높은 상관관계를 보였습니다.

핵심 포인트

• 감성 분석은 고객의 말투만 측정할 뿐 실제 만족도를 반영하지 못함
• LLM을 통해 만족도 추정 및 구체적 문제 보고 여부를 식별 가능
• 감성 분석 대비 높은 상관관계(0.47)와 낮은 오보율 기록
• 만족하지만 문제를 겪는 '용인된 마찰' 고객층 포착 가능