면적 기반 감성 분석의 주석 품질: 전문가, 학생, 크라우드워커, 그리고 대형 언어 모델 비교 연구

면적 기반 감성 분석 (Aspect-Based Sentiment Analysis, ABSA) 은 텍스트 내 특정 면적 또는 대상에 대한 감성을 식별함으로써 세밀한 의견 분석을 가능하게 합니다. ABSA 는 영어에 대해 광범위하게 연구되었으나, 독일어와 같은 다른 언어에 대한 연구는 고 품질 주석 데이터셋의 부재로 인해 제한적입니다. 이 논문은 다양한 주석 소스가German ABSA 개발에 미치는 영향을 검토합니다. 이를 위해 기존 데이터셋을 전문가들이 재주석하여 기준 (ground truth) 을 설정하고, 이를 학생, 크라우드워커 (crowdworkers), 대형 언어 모델 (Large Language Models, LLMs), 그리고 전문가들의 주석을 평가하는 데 사용합니다. 주석 품질은 상호 주석자 동의도 (Inter-Annotator Agreement, IAA) 를 사용하여 비교하며, 이는 다른 ABSA 하위 작업에 대한 다운스트림 모델 성능에 영향을 미칩니다. 평가는 면적 카테고리 감성 분석 (Aspect Category Sentiment Analysis, ACSA) 과 대상 면적 감성 탐지 (Target Aspect Sentiment Detection, TASD) 에 집중합니다. 우리는 BERT-, T5-, 그리고 LLaMA 기반 접근법을 포함한 ABSA의 최첨단 (State-of-the-Art, SOTA) 방법을 적용하여 미세 조정과 인맥 학습 (in-context learning) 및 지시 프롬프트를 통해 성능 차이를 평가합니다. 연구 결과는 주석 신뢰성과 효율성 사이의 트레이드 오프에 대한 실용적 통찰을 제공하며, 자원이 부족한 자연어 처리 (Natural Language Processing, NLP) 시나리오의 데이터셋 구축에 지침을 제공합니다.