LLM의 경제적 인과 추론에 내재된 이념 편향 분석

거대 언어 모델(LLMs)이 경제적 인과 효과에 대해 추론할 때 체계적인 이념 편향을 보이는지 여부는 정책 분석 및 경제 보고서 작성에 필수적인 방향성 있는 인과 판단이 요구되는 현장에서 매우 중요한 실질적 문제입니다.

본 연구는 기존의 EconCausal 벤치마크를 확장하여 '이념 논쟁 사례(ideology-contested cases)'를 포함한 체계적인 평가를 수행했습니다. 이 논쟁 사례란, 개입 지향적 관점(intervention-oriented, 정부 정책 선호)과 시장 지향적 관점(market-oriented, 자유시장 경제 선호)이 상충하는 인과 관계 예측을 의미합니다.

우리는 최고 수준의 경제 및 금융 저널에서 파생된 10,490개의 인과 트리플렛(causal triplets, 처리-결과 쌍 및 경험적으로 검증된 효과 방향)을 활용하여 총 1,056개의 이념 논쟁 사례를 식별했습니다. 그리고 20개의 최신 LLM 모델에 대해 경험적 근거가 뒷받침되는 인과 방향 예측 능력을 평가했습니다.

주요 발견 사항:

1. 난이도 증가: 이념 논쟁 사례는 비논쟁 사례보다 일관되게 난도가 높았습니다.
2. 체계적 편향성: 20개 모델 중 18개 모델에서, 경험적으로 검증된 인과 부호(causal sign)가 '정부 개입 지향' 기대와 일치할 때, '시장 지향' 기대일 때보다 정확도가 체계적으로 높게 나타났습니다.
3. 오류의 편향성: 모델이 오류를 범하는 경우에도 그 잘못된 예측은 특정 이념(정부 개입) 쪽으로 불균형하게 치우치는 경향을 보였습니다.
4. 프롬프팅 효과 미미: 이러한 방향성 편향성은 단발성 인컨텍스트 프롬프팅(one-shot in-context prompting)을 적용하더라도 제거되지 않았습니다.

이러한 결과는 LLMs가 단순히 이념적으로 논쟁적인 경제 질문에서 정확도가 떨어진다는 것을 넘어, 특정 이념적 방향으로 체계적으로 신뢰성이 낮거나 편향되어 있음을 시사합니다. 따라서 고위험의 경제 및 정책 결정 환경에서는 모델의 성능을 평가할 때 단순한 정확도뿐만 아니라 '방향성을 고려한 평가(direction-aware evaluation)'가 필수적임을 강조합니다.