면적 기반 감성 분석의 주석 품질: 전문가, 학생, 크라우드워커, 그리고 대형 언어 모델 비교 연구

요약

본 연구는 독일어 면적 기반 감성 분석(ABSA) 개발에 있어 다양한 주석 소스(전문가, 학생, 크라우드워커, LLM)의 품질을 비교 평가했습니다. 기존 데이터셋을 전문가들이 재주석하여 기준 데이터를 설정하고, 이를 바탕으로 다른 그룹들의 주석을 검증합니다. 평가는 상호 주석자 동의도(IAA)와 다운스트림 모델 성능에 초점을 맞추었으며, ABSA의 최신 기술들을 적용하여 각 주석 방식의 신뢰성과 효율성 간의 트레이드오프를 분석했습니다.

핵심 포인트

• ABSA는 텍스트 내 특정 대상에 대한 세밀한 감성 식별을 가능하게 하지만, 독일어와 같은 언어에서는 고품질 데이터셋 확보가 어렵다.
• 연구는 전문가 재주석된 기준 데이터를 사용하여 학생, 크라우드워커, LLM 주석의 품질(IAA)과 다운스트림 모델 성능을 비교했다.
• 평가는 Aspect Category Sentiment Analysis (ACSA)와 Target Aspect Sentiment Detection (TASD)에 집중되었으며, BERT, T5, LLaMA 기반 SOTA 모델들이 활용되었다.
• 연구 결과는 자원이 부족한 NLP 시나리오에서 주석 신뢰성과 효율성 사이의 실질적인 지침을 제공한다.