TUX: 인간과 AI 사이의 암묵적 이해(Tacit Understanding) 측정

대규모 언어 모델 (LLMs)이 협업 파트너로서의 역할을 점점 더 확대함에 따라, 인간-AI 정렬 (human--AI alignment)은 흔히 명시적인 작업 성공 여부, 정확도 또는 보상 최적화를 통해 평가됩니다. 그러나 많은 협업 환경은 암묵적 이해 (tacit understanding)에 의존합니다. 즉, 에이전트가 명확한 목표, 의사소통 또는 피드백 없이도 인간의 평가적 입장 (evaluative stance)이나 표현적 사전 지식 (representational priors)에 맞출 수 있는지 여부입니다. 이러한 능력을 연구하기 위해, 우리는 사회적 파티 게임인 Wavelength에서 영감을 얻은 스펙트럼 배치 과업 (spectrum-placement task)을 개발하였으며, 여기서 인간과 에이전트는 주관적인 스펙트럼을 따라 개념을 독립적으로 배치합니다. 우리는 인간과 에이전트의 판단 사이의 유사성을 쌍별 측정치 (pairwise measure)로 하는 암묵적 이해 지수 (Tacit Understanding Index, TUX)를 정식화하였으며, 241명의 인간 참가자와 4개의 모델에 걸친 200개의 프로필 조건부 LLM 에이전트를 통해 이를 평가했습니다. 연구 결과, 특성 공간 (trait space)에서 인간과 에이전트의 쌍이 가장 가까울수록 훨씬 더 높은 TUX를 달성한다는 것을 발견했으며, 이는 암묵적 정렬 (tacit alignment)이 무작위적인 유사성이 아닌 개인 수준의 특성에 의해 구조화됨을 시사합니다. 회귀 분석 (Regression analyses) 결과, 예측 변수 세트가 풍부해질수록 TUX의 설명력이 높아졌으며, 개인적 특성, 의사결정 스타일 (decision-making styles), 그리고 신뢰도 (confidence)가 집합적 특성 거리 (aggregate trait-distance) 베이스라인보다 성능을 향상시키는 것으로 나타났습니다. 이러한 발견은 인간과 LLM 사이의 암묵적 이해가 측정 가능하다는 것을 시사하는 동시에, 더 깊은 표현적 정렬 (representational alignment)을 포착하는 데 있어 프로필 기반 조건부 설정 (profile-based conditioning)의 한계를 드러냅니다.