LLM의 경제적 인과 추론에 내재된 이념 편향 분석
요약
본 연구는 거대 언어 모델(LLMs)이 경제적 인과 관계를 추론할 때 체계적인 이념 편향을 보이는지 검증합니다. 기존의 EconCausal 벤치마크를 확장하여 '이념 논쟁 사례' (정부 개입 지향 vs 시장 지향 예측 상충)를 포함한 10,490개의 인과 트리플렛을 분석했습니다. 그 결과, LLM은 이념적으로 논란이 되는 문제에서 성능 저하가 명확했으며, 특히 경험적으로 검증된 인과 방향이 '정부 개입 지향' 기대와 일치할 때 '시장 지향'보다 높은 정확도를 보였습니다. 또한, 오답을 내는 경우에도 그 경향성이 정부 개입 쪽으로 치
핵심 포인트
- LLM의 경제적 인과 추론 능력은 이념적으로 논쟁이 되는 사례에서 성능 저하가 두드러지게 나타납니다.
- 20개 최신 LLM 모델 중 18개 모델에서, 경험적 사실에 기반한 인과 방향이 '정부 개입 지향' 기대와 일치할 때 '시장 지향'보다 체계적으로 높은 정확도를 보였습니다.
- 모델의 예측 오류는 특정 이념(정부 개입) 쪽으로 편향되는 경향을 보이며, 이는 단발성 인컨텍스트 프롬프팅(one-shot in-context prompting)으로도 개선되지 않았습니다.
- 본 연구 결과는 고위험 경제 및 정책 환경에서 방향성을 고려한 평가(direction-aware evaluation)의 필요성을 강조합니다.
거대 언어 모델(LLMs)이 경제적 인과 효과에 대해 추론할 때 체계적인 이념 편향을 보이는지 여부는 정책 분석 및 경제 보고서 작성에 필수적인 방향성 있는 인과 판단이 요구되는 현장에서 매우 중요한 실질적 문제입니다.
본 연구는 기존의 EconCausal 벤치마크를 확장하여 '이념 논쟁 사례(ideology-contested cases)'를 포함한 체계적인 평가를 수행했습니다. 이 논쟁 사례란, 개입 지향적 관점(intervention-oriented, 정부 정책 선호)과 시장 지향적 관점(market-oriented, 자유시장 경제 선호)이 상충하는 인과 관계 예측을 의미합니다.
우리는 최고 수준의 경제 및 금융 저널에서 파생된 10,490개의 인과 트리플렛(causal triplets, 처리-결과 쌍 및 경험적으로 검증된 효과 방향)을 활용하여 총 1,056개의 이념 논쟁 사례를 식별했습니다. 그리고 20개의 최신 LLM 모델에 대해 경험적 근거가 뒷받침되는 인과 방향 예측 능력을 평가했습니다.
주요 발견 사항:
- 난이도 증가: 이념 논쟁 사례는 비논쟁 사례보다 일관되게 난도가 높았습니다.
- 체계적 편향성: 20개 모델 중 18개 모델에서, 경험적으로 검증된 인과 부호(causal sign)가 '정부 개입 지향' 기대와 일치할 때, '시장 지향' 기대일 때보다 정확도가 체계적으로 높게 나타났습니다.
- 오류의 편향성: 모델이 오류를 범하는 경우에도 그 잘못된 예측은 특정 이념(정부 개입) 쪽으로 불균형하게 치우치는 경향을 보였습니다.
- 프롬프팅 효과 미미: 이러한 방향성 편향성은 단발성 인컨텍스트 프롬프팅(one-shot in-context prompting)을 적용하더라도 제거되지 않았습니다.
이러한 결과는 LLMs가 단순히 이념적으로 논쟁적인 경제 질문에서 정확도가 떨어진다는 것을 넘어, 특정 이념적 방향으로 체계적으로 신뢰성이 낮거나 편향되어 있음을 시사합니다. 따라서 고위험의 경제 및 정책 결정 환경에서는 모델의 성능을 평가할 때 단순한 정확도뿐만 아니라 '방향성을 고려한 평가(direction-aware evaluation)'가 필수적임을 강조합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기