LLM 증강 데이터로 정치적 질문 회피 탐지 성능 개선 방안

요약

본 논문은 SemEval-2026 Task 6 (CLARITY)에 제출된 'Duluth' 접근 방식을 소개합니다. 이 태스크는 미국 대통령 인터뷰의 질의응답 쌍을 분석하여 응답의 명확성(Clarity)과 회피 정도(Evasion)를 분류하는 것을 목표로 합니다. 저희 시스템은 DeBERTa-V3-base 기반에 Focal Loss, Layer-wise Learning Rate Decay 등의 기법을 적용하고, 특히 소수 클래스 불균형 문제를 해결하기 위해 Gemini 3와 Claude Sonnet 4.5 같은 대규모 언어 모델(LL

핵심 포인트

• DeBERTa-V3-base를 기반으로 Focal Loss 및 Layer-wise Learning Rate Decay 기법을 적용하여 시스템 성능을 최적화했습니다.
• Gemini 3와 Claude Sonnet 4.5를 활용한 LLM 증강 데이터(LLM-Augmented Data)가 소수 클래스 재현율(Recall) 향상에 효과적이었습니다.
• Task 1 평가 세트에서 Macro F1 점수 0.76을 달성하며, 평균 점수(0.70) 대비 우수한 성능을 입증했습니다.
• 오분류 분석 결과, 'Ambivalent'와 'Clear Reply' 간의 혼동이 주요 오류 원인으로 밝혀졌으며, 이는 인간 주석가들의 의견 불일치 패턴과 유사합니다.