CollabSim: 통제된 멀티 에이전트 실험을 통해 LLM 에이전트의 협업 역량을 조사하기 위한 CSCW 기반 방법론

대규모 언어 모델 (LLM)을 기반으로 구축된 멀티 에이전트 시스템 (MAS)은 인간 팀과 유사하게 텍스트 기반 채널을 통해 조정하는 에이전트의 능력에 따라 그 효과가 결정되며, 점점 더 큰 가능성을 보여주고 있습니다. 그러나 최근 연구에 따르면 MAS는 에이전트의 개별적인 작업 해결 능력이 부족해서가 아니라, 협업 역량 (collaborative competence)이 부족하기 때문에 실패하는 경우가 많습니다. 여기서 협업 역량이란 공통 기반 (common ground)을 구축하고, 공유된 작업 이해도를 유지하며, 개인과 집단의 인센티브 사이의 균형을 맞추고, 상호작용이 진행됨에 따라 발생하는 불일치를 복구하는 능력을 의미합니다. 컴퓨터 지원 협업 작업 (CSCW) 분야의 수십 년간의 연구는 제한된 통신 환경에서 조정하는 인간 팀의 이러한 요구 사항들을 규정해 왔으나, 기존의 MAS 평가는 주로 작업 결과나 추론, 계획, 도구 사용에 있어서의 단일 에이전트 숙련도에 초점을 맞추고 있습니다. MAS에서 에이전트의 협업 역량을 체계적으로 분석하기 위해, 우리는 협업 능력에 대한 이론적 정의, 상호작용 조건의 통제된 조작, 그리고 에이전트의 내부 상태에 대한 액션 수준의 탐색 (action-level probing)을 결합한 구성 가능한 시뮬레이션 프레임워크인 CollabSim을 소개합니다. 네 가지 LLM을 대상으로 한 실험을 통해 CollabSim이 조건의 효과를 포착하고, 모델 성능 패턴을 분리하며, 에이전트 설계의 작업 의존적 효과를 드러낼 수 있음을 보여줍니다.