주석 스키마 전반에 걸친 강건한 선전 분류를 위한 계층적 프롬프팅 (Hierarchical Prompting) 기반 미세 조정

소셜 미디어에서의 선전 (Propaganda) 탐지는 노이즈가 많고 짧은 텍스트, 그리고 낮은 주석 일치도 (annotation agreements)로 인해 매우 어렵습니다. 본 연구에서는 의도에 초점을 맞춘 새로운 선전 기법 분류 체계 (taxonomy)를 도입하고, 이를 일치도가 더 높은 기존의 확립된 스키마 (schema)와 비교합니다. 세 가지 차원(모델 포트폴리오, 스키마 효과, 프롬프팅 전략)을 따라, 네 가지 언어 모델 (GPT-4.1-nano, Phi-4 14B, Qwen2.5-14B, Qwen3-14B)의 도움을 받아 분류 작업으로서 해당 분류 체계들을 평가합니다. 연구 결과, 미세 조정 (fine-tuning)은 필수적임을 보여줍니다. 미세 조정은 취약한 제로샷 (zero-shot) 베이스라인을 경쟁력 있는 시스템으로 변환하며, 베이스 모델 (base models)을 사용할 때는 숨겨져 있던 방법론적 차이를 드러냅니다. 스키마 전반에 걸쳐 Qwen 모델들이 가장 강력한 종합 성능을 달encing하며, Phi-4 14B는 GPT-4.1-nano보다 일관되게 우수한 성능을 보입니다. 세밀한 기법들을 먼저 예측한 후 이를 집계하는 우리의 계층적 프롬프팅 (hierarchical prompting, HiPP) 방식은, 미세 조정 이후와 더 모호하고 일치도가 낮은 분류 체계에서 특히 유익하며, 더 단순한 스키마에서도 경쟁력을 유지합니다. 새로운 의도 기반 레이블로 주석이 달린 HQP 데이터셋은 선전의 전략적 목표에 대한 더 풍부한 관점을 제공하며, 강건한 실세계 탐지에 관한 향후 연구를 위한 도전적인 벤치마크 (benchmark)를 제공합니다.