공적 담론에 사용된 LLM 기반 입장 분석의 불안정성 원인 정량화

요약

본 연구는 공적 담론 분석 시 사용되는 LLM 기반 입장 분석의 불안정성 원인을 정량적으로 탐구했습니다. YouTube 인터뷰 데이터를 활용하여 전처리 파이프라인과 하류 측정 도구가 결과에 미치는 영향을 비교 분석했습니다. 그 결과, 특정 화자에게 민감도가 집중되며, 방법론 간 불일치가 크지만, 최종 집계된 가치 비율은 매우 안정적임을 밝혀냈습니다.

핵심 포인트

• 전처리 파이프라인의 불안정성은 샘플 수가 적은 화자에게 집중됨.
• LLM과 키워드 레릭슨 방식은 방법론 간 불일치가 크고 체계적임.
• 최종 집계된 가치 비율은 파이프라인이나 측정 방법에 관계없이 안정적임.
• 연구자는 결론의 견고성을 검증하기 위해 두 가지 변동성 원인을 모두 고려해야 함.