인간-AI 팀워크에서의 성공적인 협력 측정: 인지된 협력성 및 팀워크 인식 척도의 개발과 검증
요약
본 논문은 인간과 AI의 협력이 증가함에 따라, 그 주관적인 품질을 측정할 수 있는 두 가지 이론 기반 척도(PCS 및 TPS)를 개발하고 검증했습니다. PCS는 단일 상호작용에서의 인지된 협력 능력을 포착하며, TPS는 장기적이고 발생적인 팀워크의 느낌을 측정합니다. 이 척도들은 카드 게임, LLM 상호작용 등 다양한 환경에서 높은 신뢰성과 타당성을 보여주었으며, 향후 인간-AI 시스템 평가에 중요한 기초 자료를 제공할 것으로 기대됩니다.
핵심 포인트
- 인간-AI 협력의 주관적 품질 측정을 위한 두 가지 이론 기반 척도(PCS 및 TPS)가 개발되었다.
- PCS는 단일 상호작용 시퀀스 내에서의 인지된 협력 능력을 측정하는 데 초점을 맞춘다.
- TPS는 지속적인 상호 기여와 지원에서 비롯되는 '팀워크의 발생적 느낌'을 포착한다.
- 두 척도는 다양한 인간-AI 환경(LLM, 게임 등)에서 높은 신뢰도와 구성 타당성을 입증했다.
인간-AI 협력이 점차 보편화됨에 따라, 협력적 인간-AI 상호작용의 주관적 품질을 평가하기 위한 신뢰할 수 있는 도구가 필요합니다. 우리는 연동 활동 이론 (joint activity theory) 에 기반한 인지된 협력성 척도 (Perceived Cooperativity Scale, PCS) 와 진화적 협력 이론 (evolutionary cooperation theory) 에 기반한 팀워크 인식 척도 (Teaming Perception Scale, TPS) 라는 두 가지 이론적으로 근거가 있는 척도를 소개합니다. PCS 는 단일 상호작용 시퀀스 내에서 에이전트가 인지하는 협력 능력과 실천을 포착하고, TPS 는 상호 기여와 지원에서 비롯되는 팀워크의 발생적 느낌을 포착합니다. 두 척도 모두 인간-인간 협력을 위해 적응되어 에이전트 간 비교를 가능하게 합니다. 협력 카드 게임, LLM 상호작용, 의사결정 지원 시스템을 아우르는 세 가지 연구 (N = 409) 에서 차원성, 신뢰도, 타당성에 대한 분석을 통해 두 척도가 다양한 협력 품질을 가진 협력 파트너들을 성공적으로 구분했으며, 기대에 부합하는 구성 타당성을 보였음을 나타냈습니다. 이러한 척도들은 광범위한 인간-AI 협력 맥락에서 경험적 조사와 시스템 평가를 위한 기초를 제공합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기