뉴스 요약의 정치적 편향성 평가: 크기가 곧 우월하지 않다

요약

본 연구는 다중 문서 뉴스 요약 시스템에서 나타날 수 있는 정치적 편향성을 포괄적으로 평가합니다. 특히, 다양한 정치 성향을 가진 출처를 포함하는 FairNews 데이터셋과 13개의 모델을 사용하여 다섯 가지 공정성 지표로 분석했습니다. 주요 발견은 단순히 모델 크기를 키우는 것이 더 공정한 결과를 보장하지 않는다는 것입니다. 오히려 중간 규모의 모델(mid-sized variants)이 공정성과 효율성 면에서 가장 균형 잡힌 성능을 보여주었으며, 이는 뉴스 요약 시스템 설계에 중요한 시사점을 제공합니다.

핵심 포인트

• 다중 문서 뉴스 요약 시스템은 정치적 편향성을 가질 수 있으며, 이는 다양한 관점의 불균등한 표현이나 소수 의견의 체계적인 과소 대표로 나타납니다.
• 본 연구는 13개 모델과 5가지 공정성 지표를 사용하여 다중 출처 뉴스 요약 시스템의 정치적 편향성을 포괄적으로 평가했습니다.
• 모델 크기 증가가 곧 공정한 결과로 이어지지 않으며, 오히려 중간 규모의 변형(mid-sized variants)이 공정성과 효율성의 최적 균형을 제공합니다.
• 프롬프트 기반 디바이어싱은 모델 의존성이 높고, 개체 감성(entity sentiment) 차원은 모든 개입 전략에 가장 저항적인 편향성 영역으로 확인되었습니다.