SemEval-2026 Task 6: 정치 담론의 응답 명확성 및 회피 감지 (CLaC) 시스템 소개

요약

본 논문은 미국 대통령 인터뷰 질문-답변 쌍에서 응답의 명확성(Clarity)과 회피(Evasion)를 감지하는 SemEval-2026 Task 6 (CLARITY) 시스템을 제안합니다. 연구진은 미세 조정된 인코더와 프롬프트 기반 LLM을 비교했으며, 특히 최적화된 트랜스포머 인코더 앙상블과 적절한 프롬프팅 기법이 높은 성능을 보였습니다. 또한, 다국어 모델의 결합이나 전체 인터뷰 맥락(enriched input) 제공 등 다양한 실험 설정을 통해 LLM 및 인코더의 강점과 한계를 분석했습니다.

핵심 포인트

• 응답 명확성/회피 감지 시스템은 미세 조정된 트랜스포머 인코더 앙상블을 통해 높은 성능(예: Task 1에서 매크로 F1 80점)을 달성했습니다.
• 프롬프트 기반 LLM은 파라미터 업데이트 없이도 미세 조정된 인코더를 능가하는 성능을 보였으며, 특히 소수 클래스 분류에 강점을 나타냈습니다.
• 다국어 모델의 경우, 영어 및 다국어 인코더를 결합하는 앙상블 방식이 개별 모델보다 우수한 성능 향상을 가져왔습니다.
• 전체 인터뷰 맥락(enriched input)을 제공하는 것이 LLM 성능에는 도움이 되었으나, 트랜스포머 인코더의 성능 개선으로 이어지지는 않았습니다.