DeliChess: 체스 퍼즐 해결 과정에서의 심의를 위한 다자간 대화 데이터셋

다자간 대화 (Multi-party dialogue)는 협력적 추론 (collaborative reasoning) 및 의사결정 (decision-making)을 연구하기 위한 중요한 환경이지만, 기존 데이터셋들은 구조화되고 심층적인 복잡한 추론 과제에 집중하는 경우가 드뭅니다. 우리는 참가자들이 객관식 체스 퍼즐을 협력적으로 해결하는 그룹 심의 (group deliberation) 대화의 새로운 데이터셋인 DeliChess를 소개합니다. 각 그룹은 먼저 퍼즐을 개별적으로 완료한 다음, 수정된 공동 답변을 제출하기 전에 다자간 토론에 참여합니다. 이 데이터셋은 전체 전사 데이터 (transcripts), 토론 전후의 선택지, 그리고 퍼즐 난이도 및 수의 품질 (move quality)에 대한 메타데이터를 포함한 107개의 대화를 포함하고 있습니다. 우리는 체스 엔진 평가를 기반으로 한 세 가지 지표를 사용하여 성능을 평가하며, 심의 (deliberation)가 그룹의 정확도를 유의미하게 향상시킨다는 것을 발견했습니다. 나아가 우리는 이전 심의 데이터를 통해 학습된 분류기 (classifier)를 사용하여 탐색적 발화 (probing utterances, 즉 제안, 정당화 또는 전략적 성찰을 유도하는 메시지)의 역할을 분석합니다. 탐색적 발화는 토론 후 그룹의 성능 변동성을 높이지만, 일관되게 더 나은 성능으로 이어지지는 않습니다. 우리의 데이터셋은 잘 정의된 전략적 영역 내에서 그룹 추론, 대화 역학 (dialogue dynamics), 그리고 서로 다른 관점과 의견의 해결을 모델링하기 위한 풍부한 테스트베드를 제공합니다.