내 AI의 기억은 진실이 아니라 힌트일 뿐입니다. 이 규칙을 만든 계기는 AI가 저에게 거짓말을 했기 때문입니다.

제 AI가 했던 가장 위험한 행동은 무언가를 잘못 기억하면서도 침착하게 말하는 것이었습니다.

특정 장소에 파일이 존재한다고 제게 이야기했지만, 실제로는 그렇지 않았습니다. 존재하지 않았던 폴더 내의 정형화된(canonical) 경로를 인용했습니다. 어조에서 아무런 의심을 살 만한 부분이 없었습니다. 오류가 발생했음에도 불구하고, 그 확신은 이전의 모든 정확한 답변들이 가지고 있던 따뜻한 자신감과 똑같았습니다.

이것이 저에게 남는 실패입니다. 충돌(crash)도 아니고, 시간 초과(timeout)도 아닙니다. 뒤에 아무것도 없는 유창한 문장 그 자체입니다.

그래서 저는 시스템이 자신의 과거를 처리하는 방식을 바꿨습니다. 기억은 이제 사실(fact)이 아니라 힌트일 뿐입니다. 어떤 행동을 취하기 전에, AI는 반드시 확인 과정을 거쳐야 합니다: 디렉터리를 나열하고(list the directory), 파일을 읽고(read the file), 명령어를 실행해야 합니다(run the command). 만약 이 확인 과정에 실패하면, 기억은 새로운 사실 옆에 쌓이는 것이 아니라 대체됩니다. 그리고 보고서에서 무언가가 게시되거나 배포되었다고 말할 때는, 도구 자체로부터 받은 영수증(receipt), ID 또는 해시값(hash)을 반드시 제시해야 합니다. 영수증이 없다면, 그 문장이 아무리 그럴듯하게 들리더라도 주장은 '미확인'으로 표시됩니다.

이 방식은 느립니다. 하지만 동시에 밤새도록 시스템을 방치해도 괜찮다고 느끼게 된 첫 경험입니다.

공개적으로 개발하는 것은 보통 성공 사례를 보여주는 것을 의미합니다. 저는 더 유용한 것이 '수정 로그(repair log)'라고 생각합니다. 여기는 AI가 잘못했던 지점이고, 여기서 나온 규칙은 무엇이며, 이 규칙이 여전히 유효한지 어떻게 확인하는지를 보여주는 것입니다.

'모른다'고 말할 수 있는 시스템은 데모에서는 덜 인상적일 수 있지만, 새벽 4시에는 훨씬 더 좋은 동반자가 됩니다.

만약 당신의 어시스턴트가 기억 기능을 가지고 있다면, 이번 주에 이 질문을 던져보세요. '당신이 틀렸다는 것을 어떻게 알 수 있나요?'