Humans' ALMANAC: 에이전트 협업을 위한 행동 수준의 멘탈 모델 주석이 포함된 인간 협업 데이터셋

최근 LLM 에이전트(LLM agents)의 발전은 다단계 추론(multi-step reasoning), 계획(planning), 도구 사용(tool use)과 같은 복잡한 인지 능력을 가능하게 했으며, 이는 에이전트가 인간의 협업자로서의 위치를 점차 강화하고 있습니다. 그러나 효과적인 협업을 위해서는 협업자가 협업 과정 동안 자신의 추론, 파트너의 의도, 그리고 공유된 목표에 대한 멘탈 모델(mental models)을 지속적으로 유지하고 정렬해야 합니다. 오늘날의 에이전트들은 주로 작업 완료(task completion)를 위해 최적화되어 있기 때문에 이러한 능력을 갖추는 경우가 드물며, 커뮤니티에는 에이전트를 프로세스 수준의 협업 역량(process-level collaborative competence)으로 안내할 수 있는 행동 수준의 멘탈 모델 주석(action-level mental model annotations)이 포함된 실제 인간 협업 데이터가 부족합니다. 이러한 격차를 해소하기 위해, 우리는 사회 과학의 고전적인 이자 관계 라우팅 작업(dyadic routing task)인 맵 태스크(Map Task)를 기반으로 구축된 에이전트 협업을 위한 행동 수준의 멘탈 모델 주석 데이터셋인 ALMANAC(Action-Level Mental model ANnotations for Agent Collaboration)을 제시합니다. ALMANAC은 2,987개의 협업 행동을 포함하며, 각 행동은 참가자의 자기 추론(self-reasoning), 인지된 파트너 의도(perceived partner intent), 그리고 인지된 팀 목표(perceived team goal)를 기록하는 이론 기반의 멘탈 모델 주석과 쌍을 이룹니다. 우리는 인간의 다음 턴 행동(next-turn behavior)과 멘탈 모델을 예측하는 데 있어 6개의 LLM을 벤치마킹했습니다. 우리의 결과는 인간의 협업 행동을 시뮬레이션하고 그 기저에 있는 멘탈 모델을 추론하는 모델의 능력을 평가하는 데 있어 ALMANAC의 유용성을 입증합니다.