다국어 파운데이션 모델을 활용한 지속 학습 (Continual Learning)

요약

본 연구는 영어, 스페인어, 이탈리아어 소셜 미디어 데이터에서 LGBTQ+ 관련 비속어의 재전유 사용 여부를 탐지하기 위한 다단계 프레임워크를 제안합니다. 데이터 부족, 클래스 불균형, 언어 간 변이 문제를 해결하기 위해 역번역 데이터 증강, 동적 언더샘플링, 마스크 언어 모델링을 결합한 귀납적 전이 학습 방식을 사용합니다. 실험 결과 XLM-RoBERTa가 최적의 파운데이션 모델로 선정되었으며, 언어별 결정 임계값 최적화를 통해 모델 재학습 없이도 성능을 개선할 수 있음을 입증했습니다.

핵심 포인트

• GPT-4o-mini를 활용한 역번역 데이터 증강으로 학습 코퍼스를 3배 확장하여 데이터 부족 문제 해결
• XLM-RoBERTa를 파운데이션 모델로 선정하여 다국어 임베딩 성능 확보
• 동적 에포크 수준 언더샘플링과 마스크 언어 모델링을 통한 도메인 특화 지식 주입
• 언어별 결정 임계값(language-specific decision thresholds) 최적화로 F1 점수 2-5% 향상
• 언어마다 결정 경계가 다르다는 점을 확인하여 언어적 변이의 중요성 강조