정렬되었으나 파트너 특화적이지는 않음: 멀티모달 LLM 에이전트가 인간과 같은 관습 없이 참조 게임(Reference Games)에서 성공하는

반복적인 참조 게임(Reference Games)은 대화 상대자들이 초기에는 긴 설명을 사용하다가, 공유된 상호작용 이력에 기반하여 더 짧고 파트너 특화적인 관습(Conventions)으로 대체하는지를 테스트합니다. 기존 연구에 따르면 멀티모달 LLM(Multimodal LLMs)은 사용하는 라벨(Labels)에 대해서는 정렬(Align)되지만, 라운드를 거듭하며 더 효율적으로 변하는 데에는 실패한다는 것을 보여줍니다. 이러한 정렬이 공유된 작업 어휘(Task vocabulary)를 반영하는 것인지, 아니면 파트너 특화적인 접지(Partner-specific grounding)를 반영하는 것인지 어떻게 판단할 수 있을까요? 우리는 유능한 멀티모달 에이전트 쌍(Dyads)을 KTH Tangrams 코퍼스의 인간 쌍과 비교함으로써 이 질문을 다룹니다. 우리의 새로운 방법론적 기여는 원래의 참조 작업 구조는 일치시키되 파트너 이력(Partner history)은 끊어버린 제약된 의사 쌍(Pseudo-dyad) 베이스라인입니다. 이 베이스라인을 통해 관찰된 라벨 정렬이 특정 파트너와의 상호작용에 의존하는지 테스트할 수 있습니다. 세 가지 분석 계층(작업 능력, 설명 전략, 정렬 역학)에 걸쳐 우리는 명확한 차이를 발견했습니다. 인간은 동조(Entrainment)를 통해 노력을 줄이며, 설명을 압축하고 파트너와의 라벨 정렬을 높입니다. 반면 에이전트는 고정된 노력 수준을 유지하며, 첫 번째 라운드부터 장황한 설명을 생성합니다. 또한 이들의 라벨 중첩도는 거의 천장(Ceiling) 수준에 도달하며, 실제 쌍과 의사 쌍 사이에서 통계적으로 구분이 불가능합니다. 따라서 MLLM은 관습(Convention) 없이 조율(Coordination)을 달성하며, 인간 대화의 특징인 압축적이고 이력 의존적인 지칭 표현(Referring expressions)을 형성하기보다는 장황한 설명을 통해 성공합니다.