생성인가 판단인가? 대화 내 LLM 기반 감정-원인 쌍 추출(ECPEC)에 대한 패러다임적 관점
요약
대화 내 감정-원인 쌍 추출(ECPEC) 작업에서 LLM의 접근 방식에 따른 성능 차이를 분석한 연구입니다. 생성 방식보다 쌍 수준의 판단 방식이 더 우수한 성능을 보임을 입증하고, 보조 리트리버를 도입하여 효율성과 정확도를 동시에 개선했습니다.
핵심 포인트
- 대화 수준 생성보다 쌍 수준 판단 방식이 ECPEC 성능에서 우세함
- LLM은 관계 인식 능력은 높으나 전체 쌍을 생성하는 데 어려움을 겪음
- 보조 리트리버 도입을 통해 추론 시간 대비 F1 점수 향상 달성
- 작업 분해와 후보 범위 설정이 LLM 활용의 핵심 요소임
대화 내 감정-원인 쌍 추출 (Emotion-cause pair extraction in conversation, ECPEC)은 한 발화가 다른 발화에서 표현된 감정을 유발하는 발화 쌍을 식별하는 작업입니다. 최근 LLM 기반의 접근 방식들은 전체 쌍 세트를 생성하는 것부터 개별 후보 쌍을 판단하는 것에 이르기까지, 매우 상이한 입도 (granularity)로 ECPEC를 정식화하고 있습니다. 본 논문에서 우리는 작업 정식화 (task formulation)가 성능에 실질적인 영향을 미친다는 놀라운 관찰 결과를 제시하며, 18개의 모든 통제된 비교 실험에서 쌍 수준 판단 (pair-level judgement)이 대화 수준 생성 (dialogue-level generation)보다 우수한 성능을 보였습니다. 우리는 이러한 패러다임 격차의 원인을 조사하였으며, 대화 수준 생성에서 누락된 많은 관계들이 명시적인 쌍 쿼리 (pair queries) 하에서는 여전히 식별 가능하다는 것을 발견했습니다. 이러한 쿼리 하에서 모델은 감정-원인 관계의 92.7%-98.1%를 인식합니다. 이는 LLM이 감정-원인 관계를 인식할 수는 있지만, 완전한 쌍 세트를 발견하고 반환하는 데에는 어려움을 겪는다는 것을 시사합니다. 쌍 수준 판단은 이러한 부담을 완화해주지만, 공유된 임계값 (threshold)에 의해 생성되는 이진 결정 (binary decisions)보다 후보 순위 (candidate rankings)가 더 신뢰할 수 있는 경향이 있습니다. 이러한 진단을 바탕으로, 우리는 모호한 경계 사례들을 선택적으로 재검토하는 보조 리트리버 (auxiliary retriever)를 도입하였으며, 이는 베이스라인 패러다임 대비 추론 시간을 1.49배 수준으로 유지하면서도 세 가지 데이터셋 전체에서 0.50-1.46 포인트의 일관된 F1 점수 향상을 달성했습니다. 이러한 연구 결과는 작업 분해 (task decomposition)와 후보 범위 (candidate scope)가 ECPEC를 위해 LLM을 효과적으로 활용하는 데 있어 매우 중요하다는 것을 보여줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기