Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 LLM 어시스턴트의 사회적 추론 능력 평가의 어려움을 해결하기 위해 다중 에이전트 시뮬레이션 프레임워크인 Fuse를 제안합니다. Fuse는 목표 에이전트와 사용자 에이전자가 상호작용하며, 사용자의 서사를 통해 LLM이 검증 가능한 정답을 구성적으로 얻도록 합니다. 이를 통해 사회적 추론의 어려움을 체계적으로 분석하고 여러 핵심 요인을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기LLM 어시스턴트는 일상적인 사회적 조언을 위해 광범위하게 사용되고 있지만, 이러한 상담 환경에서 LLM의 사회적 추론 능력을 평가하는 것은 여전히 어렵습니다. 그 이유는 (i) 어시스턴트가 주관적인 사용자 서사로부터 사회 상황에 대해 학습해야 하는 설정이 필요하고, (ii) 타인의 의도와 같은 사회적 속성은 일반적으로 검증 가능한 정답(ground truth)을 갖지 못하기 때문입니다. 이러한 어려움을 해결하기 위해, 우리는 사용자 매개 사회적 추론을 연구하는 다중 에이전트 시뮬레이션 프레임워크인 Fuse를 소개합니다. Fuse에서는 숨겨진 동기를 가진 목표 에이전트가 사용자를 대표하는 에이전자를 포함한 다른 에이전트들과 상호작용하며, 사용자는 평가 대상 어시스턴트에게 자문을 구하여 목표의 동기를 추론하게 되고, 이 과정에서 검증 가능한 정답을 구성적으로 제공합니다. 시뮬레이션 충실도는 24k 주석(annotations)을 가진 인간 연구를 통해 검증되었습니다. 우리는 Fuse를 12개의 LLM에 적용하고, 핵심 요인들을 체계적으로 분리하여 분석적 유용성을 입증했습니다. 그 결과 (i) 사용자 매개는 사회적 추론의 내재된 어려움을 증폭시키며; (ii) LLM은 편향된 사용자 프레이밍에 대해 체계적인 민감도를 보이며; (iii) 모델이 정확한 예측을 도출하기 위해 인간보다 더 많은 세부 정보를 요구할 수 있고; (iv) 명확히 하는 질문의 기회를 제공함에도 불구하고 긴 대화가 항상 성능 향상으로 이어지지는 않음을 보여주었습니다. 우리는 Fuse와 21k 예시를 포함하는 데이터셋을 오픈 소스합니다.