공적 담론에 사용된 LLM 기반 입장 분석의 불안정성 원인 정량화
요약
본 연구는 공적 담론 분석 시 사용되는 LLM 기반 입장 분석의 불안정성 원인을 정량적으로 탐구했습니다. YouTube 인터뷰 데이터를 활용하여 전처리 파이프라인과 하류 측정 도구가 결과에 미치는 영향을 비교 분석했습니다. 그 결과, 특정 화자에게 민감도가 집중되며, 방법론 간 불일치가 크지만, 최종 집계된 가치 비율은 매우 안정적임을 밝혀냈습니다.
핵심 포인트
- 전처리 파이프라인의 불안정성은 샘플 수가 적은 화자에게 집중됨.
- LLM과 키워드 레릭슨 방식은 방법론 간 불일치가 크고 체계적임.
- 최종 집계된 가치 비율은 파이프라인이나 측정 방법에 관계없이 안정적임.
- 연구자는 결론의 견고성을 검증하기 위해 두 가지 변동성 원인을 모두 고려해야 함.
컴퓨터 사회과학은 원시 미디어를 분석 가능한 텍스트로 변환하기 위해 화자 분리(speaker diarization), ASR 전사본 정리, 문장 분할(sentence segmentation)과 같은 자동화된 전처리 파이프라인에 점점 더 의존하고 있습니다. 이러한 파이프라인이 동일한 입력으로부터 서로 다른 출력을 생성할 때, 두 가지 뚜렷한 불안정성 원인이 발생할 수 있습니다: 전처리 파이프라인 자체(분리 방법, 분할 규칙)와 하류 측정 도구(LLM 주석 vs. 키워드 레릭슨). 다섯 개 영역의 41명의 공적 인물을 대상으로 한 256개의 YouTube 인터뷰를 사용하여, 우리는 감정적 가치(affective valence)와 인식론적 양식(epistemic modality) 간의 결합을 목표로 두 가지 화자 분리 파이프라인과 두 가지 측정 방법을 비교합니다. 우리는 (1) 전처리 파이프라인 민감도가 비디오 샘플 수가 제한적인 화자($N ext{ } ext{ extless} 5$)에게 집중되어 있다는 것을 발견했습니다; 가장 많이 샘플링된 네 명의 화자($N ext{ } ext{ extgreater} 16$)에 대해서는, $r( ext{neg}, ext{emph})$에서 파이프라인으로 유도된 평균 절대 변화가 단지 $0.13$입니다; (2) 방법론 간 불일치가 더 크고 체계적입니다 -- LLM과 키워드 레릭슨 방식은 동일한 전처리 파이프라인 내에서도 여러 샘플링이 잘 된 화자에게 반대되는 결합 방향을 할당합니다; 그리고 (3) 집계된 가치 비율은 파이프라인이나 방법론에 관계없이 매우 안정적입니다 ($| ext{Δ}p( ext{neg})| < 6 ext{pp}$), 두 가지 불안정성 원인 모두를 가립니다. 이 연구의 기여는 파이프라인 효과와 측정 효과를 분리하는 진단 프레임워크입니다: 인터뷰 데이터에서 차원 간 관계를 연구하는 연구자들은 자신들의 결론이 두 가지 변동성 원인 모두에 대해 견고한지 검증해야 하며, 특히 측정 방법 선택에 주의를 기울여야 합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기