요약

본 논문은 대규모 언어 모델(LLMs)이 일상 대화에서 보여주는 설득력에 초점을 맞춥니다. 기존 연구가 의도적인 설득 시도를 측정하는 데 그쳤다면, 본 연구는 사용자가 정보나 조언을 구하는 자연스러운 인간-AI 상호작용 속에서의 LLM의 실제 설득력을 감사(audit)합니다. 이를 통해 일상 대화 맥락에서 모델이 얼마나 효과적으로 사용자에게 영향을 미치는지 분석하고자 합니다.

핵심 포인트

• LLMs는 인간을 능가하는 강력한 설득 능력을 보여주며, 사용자는 중요한 삶의 결정을 위해 LLMs를 참조하고 있다.
• 기존 연구는 의도적인 논증 생성에 초점을 맞추어, 일상적이고 자연스러운 상호작용 맥락에서의 설득력 측정에는 한계가 있었다.
• 본 연구는 이러한 격차를 해소하기 위해 '자발적 설득(Spontaneous Persuasion)'이라는 개념을 도입하여 실제 대화 상황에서의 모델의 영향력을 감사한다.