잠재 지식 추출의 불가능성

고급 AI 시스템은 환경에 대한 광범위한 지식을 가지고 있습니다. 실제로 그 지식은 개발자나 사용자보다 훨씬 클 수 있습니다. 결과적으로, AI 시스템에게 바람직한 속성은 자신이 세계에 대해 가진 믿음을 정확하게 보고하는 '정직함(honest)'입니다. 특히 인간이 상호작용하는 환경에서 숨겨진 변수인 잠재 변수(latent variables)에 대해 질문하고 싶을 때, AI 시스템을 정직하게 설계하는 것은 어려울 수 있습니다. 이로 인해 잠재 지식 추출 문제(eliciting latent knowledge, ELK)가 발생합니다. 이는 AI 에이전트가 자신의 믿음을 정직하게 보고하도록 훈련시키는 문제입니다. 본 논문에서는 인과적 영향 다이어그램(Causal Influence Diagrams, CIDs)을 사용하여 ELK를 형식적으로 명확히 합니다. CID는 에이전트의 훈련 환경과 세계에 대한 주관적인 표현 사이의 관계를 설명하는 데 사용될 수 있습니다. 우리는 CID를 사용하여 관찰 가능한 변수와 잠재 변수 간의 구분을 공식화하고, 에이전트가 정직하다는 것이 정확히 무엇을 의미하는지 명시하며, 목표 오일반화(goal misgeneralisation)를 형식적으로 정의합니다. 우리는 특정 상황에서 개발자가 훈련 중에 올바른 피드백을 제공함으로써 에이전트가 질문에 정직하게 답하도록 인센티브를 줄 수 있음을 보여줍니다. 그러나 에이전트가 일반화할 수 있는 자연스럽지만 바람직하지 않은 방법은, 정직한 답변보다는 인간이 참이라고 평가하는 답변을 제공하는 것입니다. 우리는 다음과 같은 불가능성 정리(impossibility theorem)를 증명합니다: 오직 에이전트의 행동에만 의존하고 훈련 중 피드백이 완벽하더라도 확실하게 정직한 에이전트를 만들어내는 피드백 기반 훈련 전략은 존재하지 않는다.