감정 대화 컨텍스트에서의 대규모 언어 모델의 감정 일관성 분석

본 연구에서는 감정 기반 대화 컨텍스트에서 대규모 언어 모델 (LLMs) 의 자체 생성 응답에 대한 일관성을 검토하기 위해 분석을 수행합니다. 구체적으로, LLM 이 생성한 텍스트는 동일한 모델에 대한 쿼리로 구성되며, 그 응답은 이후 평가됩니다. 이 과정은 극단적 및 중간 정도의 감정이라는 두 가지 차원의 세 가지 쿼리를 통해 수행됩니다. 세 가지 쿼리는 본질적으로 잘못된 가정 (false presuppositions) 을 포함하는 거짓 주장 쿼리로, 강도가 증가한 순서로 구성됩니다. 연구에서는 Claude-3.5-haiku, GPT4o-mini, 그리고 중간 크기의 모델인 Mistral-7B 라는 두 개의 상용 모델을 고려합니다. 우리의 발견은 LLM 이 평균 이하의 성능을 보이며 쿼리 내에 내재된 잘못된 믿음에 취약함을 시사합니다. 이러한 민감성은 특히 중간 감정 콘텐츠에서 두드러집니다. 또한 확장된 attention-score 기반 분석은 모델의 우선순위 평가 (evaluative) 에서 생성 (generative) 으로 전환됨을 강조합니다. 이 결과는 LLM 의 고위험, 감정적 민감 컨텍스트에서의 배포를 위한 중요한 고려사항을 제기합니다.