교정 (Calibration)의 관점에서 본 인간-AI 팀워크

우리는 통계적 교정 (statistical calibration)의 관점을 통해 인간-AI 팀워크 (human-AI teaming) 모델을 연구합니다. 우리는 팀이 AI 모델과 인간으로 구성된다고 가정하며, 이들 모두는 특징 공간 (feature space)의 특정 분할에 대해 교정 (calibrated)되어 있다고 가정합니다. 그리고 이러한 교정 가정이 팀워크 프레임워크 (teaming framework)로 어떻게 전파되는지를 밝힙니다. 특히, 우리는 다음 중 하나를 수행하는 프레임워크를 고려합니다: (i) 인간과 모델의 예측을 결합하거나, (ii) 예측 책임을 인간 또는 모델 중 한쪽으로 위임 (delegate)하는 방식입니다. 우리는 이론적 및 실증적 결과를 통해, 기존의 결합 방식들이 인간의 교정 정도를 보존하지 못함을 보여줍니다. 위임 방식은 (위임 행위 자체로 인해) 하위 예측기 (downstream predictors)의 교정 상태는 보존하지만, 누가 예측할지를 결정하는 거부 메타 모델 (rejector meta-model)로 부담을 전가합니다. 거부 모델 (rejector)은 각 구성원이 어디에서 더 우월한지를 찾아낼 수 있을 만큼 충분히 정밀하게 교정되어야 하며, 이러한 요구 사항은 인간의 전문성이 높아질수록 커지며, 인간이 시스템이 관찰할 수 없는 정보에 의존할 때는 달성 불가능해집니다.