인지적 디지털 트윈 (Cognitive Digital Twins): 마음을 모델링하는 AI 시스템의 윤리적 위험과 거버넌스

AI 시스템이 점점 더 지속적이고 개인화됨에 따라, 우리는 인지적 디지털 트윈 (Cognitive Digital Twins, CDTs)이라 부르는 기술 범주를 가능하게 합니다. 이는 특정 개인의 인지 (cognition)를 동적으로 계산하여 표현하는 것으로, 해당 개인의 인지를 모델링, 예측 또는 시뮬레이션하거나, 그 사람의 의사소통 또는 의사결정 대리인 (proxy) 역할을 수행하기 위해 행동적, 맥락적 또는 생리적 데이터로부터 업데이트됩니다. CDTs는 인지적 추론 (cognitive inference)을 종단적 표현 (longitudinal representation), 시뮬레이션, 그리고 대리 행동 (proxy action)과 결합하며, 이는 개인 비서, 자율 에이전트 (autonomous agents), 추천 시스템 (recommender systems), 자동화된 의사결정 시스템 (automated decision systems)을 위한 기존의 거버넌스 전략만으로는 부분적으로만 다룰 수 있는 방식입니다.

본 논문은 네 가지 기여를 합니다. 첫째, 우리는 CDTs를 정의하고 이를 인접한 시스템들과 구별합니다. 둘째, 권한 (authority), 자율성 (autonomy), 접근 및 제어 (access and control), 책임성 (accountability), 가용성 (availability)을 중심으로 구성된 5A 거버넌스 프레임워크를 도입합니다. 셋째, 오표현 (misrepresentation)과 인식론적 권위의 이동 (epistemic authority shifts)부터 섀도우 트윈 (shadow twins), 시뮬레이션된 참여 (simulated participation), 대리 행동 (proxy action), 그리고 대리 권력의 비대칭성 (proxy-power asymmetries)에 이르기까지 CDT 특유의 위험 요소를 식별합니다. 넷째, 거버넌스의 공백을 분석하고 동의 (consent), 목적 제한 (purpose limitation), 타당성 (validity), 추적 가능성 (traceability), 이의 제기 (contestation), 독립적 검토 (independent review), 모델 폐기 (model retirement)를 강화하기 위한 고위험 CDT 요구 사항을 제안합니다.

기존 프레임워크는 주로 데이터 처리, 자동화된 의사결정 또는 자율적 행동을 규제합니다. 그러나 CDTs는 최종적인 의사결정이나 외부 행동이 일어나기 전, 인지적 표현 (cognitive representation) 그 자체의 수준에서도 거버넌스를 필요로 합니다. 우리는 CDTs가 단순히 사람을 대신해 행동할 수 있기 때문뿐만 아니라, 인지가 표현되고, 시뮬레이션되며, 분류되고, 실행되는 인프라가 될 수 있기 때문에 거버넌스가 필요하다고 주장합니다.