PerSo: 실제 설득 시나리오에서 거대 언어 모델(LLMs)의 사회 지능 측면 조사

거대 언어 모델(LLMs)의 사회 지능을 이해하는 것은 인간-AI 상호작용 및 다중 에이전트 환경과 관련된 애플리케이션에 점점 더 중요해지고 있습니다. 사회 지능은 두 가지 측면으로 구성됩니다. 첫째는 타인의 정신 상태를 추론하는 능력인 인지적 지능(cognitive intelligence)이고, 둘째는 이러한 추론을 바탕으로 사회적 목표 달성을 위해 적절한 사회적 행동을 선택하는 능력인 행동적 지능(behavioral intelligence)입니다. 설득은 이 두 측면이 동시에 작용하는 자연스러운 테스트베드를 제공하지만, 이전의 벤치마크들은 일반적으로 합성 시나리오를 사용하여 이들을 개별적으로 평가합니다. 우리는 Reddit의 ChangeMyView 커뮤니티에서 가져온 실제 설득 대화에 대해 두 가지 측면을 모두 평가하는 PerSo라는 벤치마크를 소개하며, 인간 주석을 통해 검증된 LLM-in-the-loop 파이프라인을 사용하여 평가 작업을 구성합니다. 다양한 LLMs에 대한 우리의 평가는 성능이 일반적으로 모델 크기에 따라 확장되지만 차원별로 변동됨을 보여줍니다. 가장 강력한 LLM은 행동적 작업(behavioral task)에서 관찰된 최고의 인간 성능을 약간 능가하지만, 최고의 인간 참가자는 인지적 작업(cognitive task)에서 여전히 앞서 있습니다.