LLM을 활용한 이주 뉴스 프레임 구성: 인간의 해석을 지원하기 위한 구조화된 CoT

이주(migration) 뉴스에 대한 프레임 분석(Frame analysis)은 사회적으로 중대한 영향을 미치는 과업입니다. 이주가 어떻게 서술되는지를 연구하는 미디어 학자 및 연구자들에게는 정확할 뿐만 아니라, 투명하고(transparent), 감사 가능하며(auditable), 학술 연구 그룹의 전형적인 자원 제약 내에서 접근 가능한(accessible) 도구가 필요합니다. 기존의 LLM(Large Language Model) 기반 접근 방식은 독점적인 API와 대규모 모델에 의존하고 있으며, 이는 미디어 연구자들 사이에서 데이터 프라이버시, 재현성(reproducibility), 그리고 공평한 접근성에 대한 우려를 불러일으킵니다. 본 연구는 로컬에 배포 가능한 오픈 소스 LLM이 보조 도구로서 어떻게 해석 가능한 프레임 분석을 지원할 수 있는지 연구합니다. 우리는 Llama3-8B를 사용하여 사전 정의된 프레임 범주(framing categories)에 근거한 단계별 정당화를 가능하게 하는 구조화된 사고 사슬 (Structured Chain-of-Thought, SCoT) 프롬프팅 접근 방식을 소개합니다. 이러한 구조적 설계는 본질적으로 주관적인 과업에서 사용자가 모델의 출력을 감사하고 대안적인 해석을 검토할 수 있도록 합니다. 우리는 이주 관련 뉴스 데이터셋을 통해 우리의 접근 방식을 평가하며, SCoT가 단일 GPU에서도 실행 가능하면서 제로샷(zero-shot) 및 퓨샷(few-shot) 베이스라인보다 분류 성능을 향상시킨다는 것을 보여줍니다. 그다음, 주석가(annotators)들이 "모델의 추론"의 일관성과 영향력을 평가하는 인간 중심 평가를 수행합니다. 결과에 따르면 SCoT 설명은 일반적으로 논리적인 것으로 인식되었으며(평균 점수 4.1/5, 단 텍스트에 따라 상당한 차이가 있음), 의견 불일치가 지속되는 경우에도 초기 해석에 대한 성찰을 유도할 수 있음을 나타냅니다. 우리의 연구 결과는 LLM 지원 프레임 분석의 잠재력과 위험성을 모두 강조합니다. 구조화된 추론은 모델 출력의 추적 가능성(traceability)을 높이고 비판적 해석을 지원할 수 있지만, 미묘한 방식으로 인간의 판단에 영향을 미칠 수도 있습니다. 로컬 배포를 가능하게 하고 인간 참여형(human-in-the-loop) 상호작용을 강조함으로써, 본 연구는 사회적으로 영향력 있는 미디어 내러티브 연구를 위한 책임감 있고 접근 가능한 계산 도구에 관한 논의에 기여합니다.