주석 스키마 전반에 걸친 강건한 선전 분류를 위한 계층적 프롬프팅 (Hierarchical Prompting) 기반 미세 조정

요약

본 연구는 소셜 미디어의 노이즈가 많은 환경에서 선전(Propaganda)을 탐지하기 위해 의도에 초점을 맞춘 새로운 분류 체계를 도입하고, 이를 기존 스키마와 비교 평가했습니다. GPT-4.1-nano, Phi-4 14B, Qwen2.5-14B, Qwen3-14B 등 네 가지 언어 모델을 사용하여 세 가지 차원에서 분류 작업을 수행했으며, 그 결과 미세 조정(fine-tuning)의 중요성을 입증했습니다. 특히, 계층적 프롬프팅(HiPP) 방식은 모호하거나 일치도가 낮은 새로운 스키마에서 유용하며, Qwen 모델들이 전반적으로 강력한 성능을 보였고 Phi-4 14B가 GPT-4.1-nano보다 우수한 성능을 나타냈습니다.

핵심 포인트

• 소셜 미디어 선전 탐지는 노이즈와 낮은 주석 일치도로 인해 매우 어렵다.
• 연구는 의도 기반의 새로운 분류 체계를 도입하고, 이를 기존 스키마와 비교 평가했다.
• 미세 조정(fine-tuning)은 취약한 zero-shot 성능을 경쟁력 있는 시스템으로 만드는 데 필수적이다.
• 계층적 프롬프팅(HiPP) 방식은 모호하거나 일치도가 낮은 분류 체계에서 특히 유용성을 입증했다.
• Qwen 모델들이 전반적인 종합 성능 면에서 가장 강력했으며, Phi-4 14B가 GPT-4.1-nano보다 우수한 성능을 보였다.