LLM의 문화적 추론 및 스페인 정치 담론에 대한 강건성 평가
요약
본 논문은 스페인 정치 담론을 대상으로 LLM의 감성 분석 강건성을 평가하는 연구입니다. 세 가지 인간 주석 관점과 합성된 반사실적 코퍼스를 활용한 진단 프로토콜을 도입했습니다. 그 결과, 모델 조건부 퍼플렉시티와 반사실 교란에 대한 예측 강건성이 중요하며, GPT-4.1-mini가 가장 안정적인 성능을 보였습니다.
핵심 포인트
- 정치적 담론 분석에는 문화적으로 위치 지어진 정서 해석이 필수적입니다.
- 진단 프로토콜은 인간 합의와 감성 반전적 반사실 변화를 활용합니다.
- GPT-4.1-mini가 평가된 모델 중 가장 높은 안정성을 보였습니다.
- 오픈 웨이트 모델은 합성 교란 조건에서 성능 저하가 두드러집니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기