SemEval-2026 Task 9: 다국어 극단성 감지 (Multilingual Polarization Detection) 시스템 소개 -
요약
본 기술 기사는 SemEval-2026 Task 9: 다국어 극단성 감지 시스템을 소개하며, 22개 언어를 대상으로 하는 이진 분류 작업을 수행합니다. 핵심 접근 방식은 대형 언어 모델(LLM)의 합성 데이터 증강과 LoRA를 활용한 각 언어별 Gemma-3 모델 미세 조정입니다. 개발 집합에서 얻은 지식을 재학습 없이도 전이 학습 및 앙상블 기법을 통해 테스트 환경에 성공적으로 적용하여, 모든 22개 언어에서 평균 매크로-F1 점수 0.811을 달성하며 높은 성능을 입증했습니다.
핵심 포인트
- 다국어 극단성 감지(Multilingual Polarization Detection)는 22개 언어를 아우르는 이진 분류 작업입니다.
- 모델은 Gemma-3 (12B 및 27B)를 기반으로 하며, 각 언어별로 LoRA 기법을 사용하여 미세 조정되었습니다.
- 합성 데이터 생성 시 GPT-4o-mini를 활용하여 직접 생성, 패러프레이징, 대비 쌍 생성 등 3가지 전략을 적용하고 다단계 필터링을 거쳤습니다.
- 개발 집합에서 언어별 임계값 튜닝 및 모델 예측 가중치 앙상블 기법을 사용하여 재학습 없이도 성능 향상을 달성했습니다.
- 일반화의 중요성을 강조하며, 개발 집합에 과적합된 아키텍처는 테스트 집합에서 심각한 성능 저하를 보였습니다.
우리는 SemEval-2026 Task 9: Multilingual Polarization Detection(다국어 극단성 감지) 시스템을 제시합니다. 이는 22 개 언어를 아우르는 이진 분류(binary classification) 작업입니다.
우리 접근법은 각 언어별로 Low-Rank Adaptation(LoRA) 를 사용하여 별도의 Gemma~3 모델 (12B 및 27B 파라미터) 을 미세 조정(fine-tunes)합니다. 이는 대형 언어 모델 (LLM) 로 생성된 합성 데이터로 증강되었습니다.
우리는 GPT-4o-mini 를 사용하여 3 가지 합성 데이터 전략 (직접 생성, 패러프레이징, 대비 쌍 생성) 을 적용하며, 임베딩 기반 중복 제거를 포함한 다단계 품질 필터링 파이프라인을 사용합니다.
우리는 개발 집합에서 언어별 임계값 튜닝을 수행하여 재학습 없이도 2~4% F1 개선 효과를 얻었습니다. 또한 12B 및 27B 모델 예측의 가중치 앙상블과 언어별 전략 선택을 사용했습니다.
최종 시스템은 모든 22 개 언어에서 평균 매크로-F1(0.811) 을 달성하여 참가 팀 중 전체 순위 2 위를 기록했으며, 3 개의 언어에서는 1 위, 8 개의 언어에서는 상위 3 위를 차지했습니다.
또한 개발 집합에서 좋은 성능을 보인 대안 아키텍처 (XLM-RoBERTa, Qwen3) 는 테스트 집합에서 30~50% F1 하락을 겪어 일반화의 중요성을 부각시켰습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기