PsyDefDetect에서의 LinguIUTics: 심리적 방어 기제 분류를 위한 Qwen3-8B의 반복적 불균형 인식 미세 조정
요약
LinguIUTics 팀은 PsyDefDetect 2026 태스크에서 Qwen3-8B를 활용해 심리적 방어 기제 탐지 성능을 크게 향상시켰습니다. 클래스 불균형 문제를 해결하기 위해 QLoRA 미세 조정과 어휘 증강, 로짓 편향 튜닝 등의 전략을 사용했습니다.
핵심 포인트
- Qwen3-8B 기반 QLoRA 미세 조정으로 성능 향상
- Ministral-8B 대비 macro F1 점수 7.7점 상승
- 소수 클래스 재현율 개선을 위한 어휘 증강 전략 활용
- 그룹화된 층화 교차 검증으로 데이터 누수 방지
대화형 텍스트에서 심리적 방어 기제 (psychological defense mechanisms)를 탐지하는 것은 여전히 도전적인 임상 자연어 처리 (NLP) 문제입니다. PsyDefDetect 2026 공유 태스크 (macro F1을 통해 평가되는 9개 클래스 발화 분류)를 위해, 저희 LinguIUTics 팀은 공식 양성 클래스 리더보드에서 0.3917의 macro F1 점수를 달성하여 등록된 21개 팀 중 4위를 기록했으며, Ministral-8B 태스크 베이스라인 (31.48 macro F1) 대비 7.7 절대 포인트 (24.4% 상대적) 향상된 성능을 보였습니다. 심각한 클래스 불균형 (class imbalance)으로 인해 BERT 계열 인코더 (BERT-family encoders)와 제로샷 거대언어모델 (zero-shot LLMs)은 희귀 클래스에서 효과적이지 않음이 증명되었고, 이에 따라 저희는 Qwen3-8B의 QLoRA 미세 조정 (fine-tuning)을 진행했습니다. 저희는 세 가지 핵심 전략을 활용합니다: 그룹화된 층화 교차 검증 (grouped stratified cross-validation, 데이터 누수 방지), 소수 클래스 라운드 로빈 어휘 증강 (minority-class round-robin lexical augmentation), 그리고 로짓 편향 튜닝 (logit bias tuning) 및 앙상블 블렌딩 (ensemble blending)을 포함한 후처리 파이프라인입니다. 이러한 구성 요소들은 검증(validation)과 리더보드 간의 격차를 상당 부분 해소하고 소수 클래스의 재현율 (recall)을 실질적으로 개선하였으며
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기