설득력 있고 서사적인 LLM 설명을 통한 인간의 의사결정

대규모 언어 모델 (LLMs)은 단순히 상당히 정확한 예측을 제공할 뿐만 아니라, 해당 예측에 대해 설득력 있는 서사적 설명 (narrative explanations)을 생성하는 능력을 통해 분류 작업에서 인간의 의사결정을 돕고 개선할 수 있는 잠재력을 가지고 있습니다. 이전 연구들은 사람들이 일반적으로 AI의 서사적 설명을 이해하기 쉽고, 신뢰할 수 있으며, 신념과 의견을 바꾸는 데 설득력이 있다고 느낀다는 것을 보여주었습니다. 하지만 서사적 설명이 객관적인 인간의 의사결정 성능에 미치는 영향에 대해서는 알려진 바가 적습니다. 본 연구에서는 다양한 설득력을 가진 LLM 생성 서사적 설명을 활용한 의사결정 성능을 평가하기 위해 대규모 인간 행동 실험을 수행합니다. 연구 결과, LLM 기반 설명의 설득력 정도(또는 설득력의 부재)는 단순한 AI 예측만 제공했을 때와 비교하여 의사결정 정확도에 유의미한 영향을 미치지 않았으며, 이는 특성 중요도 (feature importance)에 기반한 설명 가능한 AI (XAI)의 일반적인 결과와 일치합니다. 우리는 서사적 설명이 AI의 예측이 옳을 때와 틀릴 때 모두 AI에 대한 의존도를 높인다는 증거를 발견했습니다. 탐색적 분석 결과에 따르면, 더 설득력 있는 서사는 의사결정 응답 시간과 AI의 예측이 정답인지 오답인지 구별하는 능력에 부정적인 영향을 미칠 수 있음을 나타냈습니다. 종합적으로, 본 연구는 AI 예측에 서사적 설명을 포함하는 것이 의사결정 성능 측면에서 트레이드오프 (tradeoffs)를 수반할 수 있음을 시사하며, 서사적 설명이 어떻게 그리고 언제 인간의 의사결정에 영향을 미치는지 결정하기 위한 더 많은 연구가 필요함을 보여줍니다.