우리의 별점 오류: 별점-감성 불일치의 행동적 동인

사람들이 온라인에서 경험을 공유할 때, 종종 두 가지 방식, 즉 별점(star rating)과 서술형 리뷰(written review)로 생각을 표현합니다. 감성 분석(sentiment analysis)에서 별점은 텍스트 감성을 위한 편리한 약한 레이블(weak labels)로 널리 사용되지만, 이 두 가지가 실제로 일치하는지에 대해서는 거의 의문이 제기되지 않았습니다. 본 연구는 스리랑카 관광 명소 리뷰를 대상으로, 리뷰 텍스트에 표현된 감성과 부여된 별점에 내포된 감성이 서로 다른 현상인 감성-별점 불일치(sentiment-rating incongruence)를 조사합니다. 2010년부터 2023년까지의 16,156개 리뷰 데이터셋을 사용하여, 부여된 별점과 독립적으로 텍스트 감성을 도출하는 트랜스포머 기반(transformer-based) 감성 파이프라인을 통해 분석을 수행했습니다. 불일치는 리뷰의 18.6%에서 발생하며 여섯 가지 방향성 패턴으로 분류되는데, 보수적 평가자(Conservative Rater) 및 의무적 5성(Obligatory 5-Star) 행동이 불일치의 대부분을 차지했습니다. 또한 이러한 현상의 유병률은 장소 유형에 따라 차이를 보였으며, 박물관이 가장 높은 비율을 나타냈습니다. 통계 테스트, 로지스틱 회귀(logistic regression), 랜덤 포레스트(Random Forest), 그리고 SHAP 분석을 통해 장소 유형, 리뷰어의 전문성, 리뷰 길이, 그리고 시간적 요인이 별점-텍스트 괴리의 기여 요인임을 확인했습니다. 종합적으로, 본 연구는 별점이 텍스트 감성과 상호 교환 가능하지 않으며, 자연어 처리(NLP)에서 이를 정답 레이블(ground-truth labels)로 취급하기 전에 반드시 검증되어야 함을 보여줍니다.