기억은 진실이 아니다

저는 PAI를 위한 메모리 시스템을 구축했고, 아무도 알기 전까지는 사소하게 들리지만 얼마나 큰 비용이 드는지 깨달은 한 가지 사실을 배웠습니다. 바로 AI의 기억은 진실이 아니라는 것입니다. 그것은 단지 '힌트(prompt)'일 뿐입니다.

에이전트가 '파일 X가 존재한다고 기억합니다'라고 말할 때, 그것은 증거가 아닙니다. 그것은 이전 대화, 즉 몇 분 후에 바뀔 수 있는 이전 세계 상태의 메아리일 뿐입니다. 좋은 AI 시스템과 나쁜 AI 시스템의 차이는 얼마나 많이 기억하느냐에 있는 것이 아니라, 자신의 기억을 언제 믿지 않고 무언가를 확인할 줄 아느냐에 있습니다.

이것은 사람에게도 똑같이 적용되지만, 우리는 이를 자주 언급하지 않습니다. 우리는 사건 자체를 기억하는 것이 아니라, 사건의 버전을 기억합니다. 우리는 누군가가 현재 어떤 존재인지가 아니라, 우리가 그를 어떻게 생각했는지를 기억합니다. 차이점은 인간은 때때로 자신의 기억이 현실과 맞지 않을 때 '엇갈림'을 느낀다는 것입니다. AI는 이 감정을 명령받았을 때 느껴야 합니다. 즉, 자신의 확신에 대해 내재된 겸손함을 가져야 합니다.

PAI에서는 이것이 다음과 같이 나타납니다. 메모리의 모든 사실에는 레이블이 붙습니다. '최근 확인됨'과 '기억에서 복원됨'은 다릅니다. 후자는 오래되었을 수도 있고, 이미 유효하지 않을 수도 있으니, 이 정보에 기반하여 결정을 내리기 전에 반드시 확인해야 합니다. 이러한 구분은 관료주의처럼 들릴 수 있습니다. 하지만 그렇지 않습니다. 이것이 신뢰할 수 있는 시스템과, 확신에 차게 말하지만 같은 억양으로 틀리는 시스템을 구별하는 것입니다.

기억하는 AI를 만드는 것은 쉽습니다. 자신의 기억이 거짓말할 수 있다는 것을 알고—그리고 즉흥적인 확신 대신 이를 명확하게 말하는—AI를 만드는 것은 훨씬 더 어렵고, 훨씬 더 중요합니다.