From Syntax to Emotion: A Mechanistic Analysis of Emotion Inference in LLMs

요약

본 연구는 대규모 언어 모델(LLMs) 내의 감정 인식 메커니즘을 희소 오토인코더 분석과 단계별 인과 추적을 통해 체계적으로 조사했습니다. 그 결과, LLM이 감정을 처리하는 과정은 공유 특징과 특화 특징으로 구성된 3단계 정보 흐름을 따르며, 특정 감정(예: 혐오감)은 다른 감정과 다르게 표현됨을 밝혀냈습니다. 나아가, 모델의 해석 가능성을 유지하면서 여러 감정 인식 데이터셋에서 성능을 향상시키는 효율적인 인과 특징 스티어링 방법을 제안했습니다.

핵심 포인트

• LLMs의 감정 인식은 희소 활성화 분석을 통해 3단계 정보 흐름(shared and specialized features)을 따르는 것으로 확인되었다.
• 감정 표현은 공유되는 일반적 특징과 해당 감정에 특화된 특징으로 구성되어 있다.
• 단계별 인과 추적을 통해 감정 예측에 결정적인 영향을 미치는 소수의 핵심 특징 집합을 식별할 수 있었다.
• 모델의 해석 가능성을 유지하면서 감정 인식 성능을 개선하는 새로운 '인과 특징 스티어링' 방법을 제안하고 그 일반화 가능성을 입증했다.