잠재 지식 추출의 불가능성

요약

본 논문은 AI 에이전트가 자신의 세계 지식에 대해 '정직함(honest)'을 유지하도록 훈련시키는 문제, 즉 잠재 지식 추출 문제(ELK)를 다룹니다. 인과적 영향 다이어그램(CIDs)을 사용하여 이 문제를 형식적으로 정의하고, 관찰 가능한 변수와 잠재 변수를 구분합니다. 또한, 에이전트가 정직하게 답변하도록 유도하는 훈련 전략의 한계에 대한 불가능성 정리(impossibility theorem)를 증명했습니다.

핵심 포인트

• AI 시스템에게 중요한 속성은 세계 지식에 대한 '정직함'입니다.
• 잠재 변수(latent variables)에 대해 질문할 때 정직하게 설계하기 어렵습니다 (ELK).
• CIDs를 사용하여 ELK 문제를 형식적으로 명확히 했습니다.
• 오직 에이전트 행동과 훈련 피드백만으로는 완벽하게 정직한 에이전트를 만들 수 없습니다.