Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
LLM이 생성하는 서사적 설명이 인간의 의사결정 성능에 미치는 영향을 분석한 연구입니다. 실험 결과, 설득력 있는 설명은 의사결정 정확도를 높이지 못하며 오히려 AI에 대한 과도한 의존도를 높이고 판단 능력을 저해할 수 있음을 발견했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기대규모 언어 모델 (LLMs)은 단순히 상당히 정확한 예측을 제공할 뿐만 아니라, 해당 예측에 대해 설득력 있는 서사적 설명 (narrative explanations)을 생성하는 능력을 통해 분류 작업에서 인간의 의사결정을 돕고 개선할 수 있는 잠재력을 가지고 있습니다. 이전 연구들은 사람들이 일반적으로 AI의 서사적 설명을 이해하기 쉽고, 신뢰할 수 있으며, 신념과 의견을 바꾸는 데 설득력이 있다고 느낀다는 것을 보여주었습니다. 하지만 서사적 설명이 객관적인 인간의 의사결정 성능에 미치는 영향에 대해서는 알려진 바가 적습니다. 본 연구에서는 다양한 설득력을 가진 LLM 생성 서사적 설명을 활용한 의사결정 성능을 평가하기 위해 대규모 인간 행동 실험을 수행합니다. 연구 결과, LLM 기반 설명의 설득력 정도(또는 설득력의 부재)는 단순한 AI 예측만 제공했을 때와 비교하여 의사결정 정확도에 유의미한 영향을 미치지 않았으며, 이는 특성 중요도 (feature importance)에 기반한 설명 가능한 AI (XAI)의 일반적인 결과와 일치합니다. 우리는 서사적 설명이 AI의 예측이 옳을 때와 틀릴 때 모두 AI에 대한 의존도를 높인다는 증거를 발견했습니다. 탐색적 분석 결과에 따르면, 더 설득력 있는 서사는 의사결정 응답 시간과 AI의 예측이 정답인지 오답인지 구별하는 능력에 부정적인 영향을 미칠 수 있음을 나타냈습니다. 종합적으로, 본 연구는 AI 예측에 서사적 설명을 포함하는 것이 의사결정 성능 측면에서 트레이드오프 (tradeoffs)를 수반할 수 있음을 시사하며, 서사적 설명이 어떻게 그리고 언제 인간의 의사결정에 영향을 미치는지 결정하기 위한 더 많은 연구가 필요함을 보여줍니다.