HEART-Bench: LLM 에이전트는 인간과 유사한 심리를 보이는가?
요약
LLM 에이전트가 인간과 유사한 심리적 특성을 시뮬레이션할 수 있는지 평가하기 위한 새로운 벤치마크인 HEART-Bench를 소개합니다. Big Five 성격 특성과 자전적 기억을 결합하여 에이전트의 성격 일관성과 의사결정 능력을 체계적으로 검증합니다.
핵심 포인트
- LLM 에이전트의 심리적 발현을 평가하는 HEART-Bench 제안
- Big Five 성격 특성과 1,000개의 에피소드 기억 통합
- DIAMONDS 프레임워크 기반 64개 의사결정 시나리오 설계
- 성격 일관성 및 가치 일치적 행동 연구를 위한 테스트베드 제공
LLM (Large Language Model) 에이전트들이 계획 (planning), 추론 (reasoning), 행동 (action)과 같은 놀라운 작업 지향적 능력을 입증해 왔지만, 정서적 차원이 동일한 중요성을 갖는 완전한 인간의 인격체로 이들을 다룬 연구는 거의 없었습니다. 본 논문에서 우리는 LLM 에이전트가 일관되고 인간과 유사한 심리 (psychology)를 시뮬레이션할 수 있는지 체계적으로 평가하기 위한 새로운 벤치마크 (benchmark)를 소개합니다. 구체적으로, 우리의 벤치마크는 직교하는 Big Five 성격 특성에 기반한 11가지의 다양한 인간 캐릭터를 구축하며, 각 프로필은 이론에 기반한 발달적 생애 단계에 걸쳐 분산된 1,000개의 구조화된 자전적 스타일의 에피소드 기억 (episodic memories)과 깊이 통합되어 있습니다. LLM의 심리적 발현을 엄격하게 평가하기 위해, 우리는 DIAMONDS 분류 체계에 따라 설계된 64개의 선별된 의사결정 시나리오 세트를 설계했습니다. DIAMONDS는 의무 (Duty), 지성 (Intellect), 역경 (Adversity), 짝짓기 (Mating), 긍정성 (pOsitivity), 부정성 (Negativity), 기만 (Deception), 사회성 (Sociality)의 8가지 차원을 따라 상황을 특징짓는 심리학적 프레임워크입니다. 에이전트들을 다양한 시나리오에 노출시킴으로써, 이 벤치마크는 에이전트들이 자신의 타고난 성격 특성과 자전적 기억을 통합하여 특정 심리 프로필과 일치하는 행동 결정을 내릴 수 있는지 평가합니다. 체계적인 인간 검증 및 필터링을 거쳐, 우리는 673개의 객관식 질문 (MCQs)으로 구성된 벤치마크를 확보했습니다. 우리는 이 벤치마크가 LLM 기반 에이전트의 인간과 유사한 감정, 성격 일관성, 그리고 가치 일치적 행동 의사결정을 연구하기 위한 원칙적이고 확장 가능한 테스트베드 (testbed)를 제공할 것이라고 믿습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기