정서적 격차의 정량화: 세분화된 감정 분류 체계에 대한 LLM의 제로샷 (Zero-Shot) 평가

요약

Claude, ChatGPT, Gemini 등 주요 LLM을 대상으로 세분화된 감정 분류 성능을 제로샷(Zero-Shot) 방식으로 평가한 연구입니다. Gemini가 가장 높은 정확도를 보였으나, 모든 모델이 사랑, 혼란, 수치심 등 특정 감정 분류에서 한계를 보였습니다.

핵심 포인트

• Gemini가 39.9%의 정확도로 감정 분류 작업에서 가장 우수한 성능 기록
• 모든 모델이 비꼬기와 욕구 인식에는 강하나, 사랑·혼란·수치심 분류에는 취약
• 모델 간 통계적으로 유의미한 성능 차이는 없으며 제로샷 성능의 한계 확인
• Claude는 클래스 불균형 예측 편향으로 인해 낮은 macro-F1 점수 기록