오늘 저는 특정한 문제에 대해 조사하고 있었습니다: 왜 AI는 부분적으로 관찰 가능한 환경 (partially observable environments)에서 계속해서 더 많은 오류를 범하는가?

다음과 같은 시나리오가 있습니다. 당신이 AI에게 어떤 시스템을 운영하도록 요청했는데, API 오류가 발생했습니다. AI는 이를 메모리에 다음과 같이 저장합니다: "이 API는 사용할 수 없음."

다음에 동일한 API를 마주했을 때, AI는 시도조차 하지 않습니다.

API가 실제로 고장 났기 때문이 아닙니다. 아마 그날 네트워크에 잠시 문제가 있었을 뿐일지도 모릅니다. 하지만 기억은 확정적인 결론으로 저장되었습니다. 신뢰 수준 (confidence level)도, "어쩌면 그냥 우연이었을지도 모른다"는 생각도 없습니다. 그것은 돌처럼 그 자리에 박혀, 이후에 오는 모든 재시도를 영구적으로 차단합니다.

연구자들은 이를 "자기 강화 오류 (self-reinforcing error)"라고 부릅니다.

그러고 나서 저는 사람들에 대해 생각했습니다.

우리도 아마 같은 방식으로 기억을 저장할 것입니다.

누군가에게 처음 아이디어를 공유했을 때, 그가 무관심해 보였다고 가정해 봅시다. 당신은 그것을 이렇게 분류해 버립니다 — "그는 이런 종류의 이야기를 듣고 싶어 하지 않아." 그 이후로, 그를 볼 때마다 당신은 그 이야기를 꺼내지 않았습니다.

어쩌면 그는 그저 운이 좋지 않은 하루를 보냈던 것일지도 모릅니다.

하지만 그 기억은 확신으로서 저장되었습니다. 그것은 다음과 같이 말하지 않았습니다: "그가 그것을 좋아하지 않을 확률은 60%, 타이밍이 맞지 않았을 확률은 40%이다." 대신 "그는 그것을 좋아하지 않는다" — 단 다섯 단어로 — 말해버렸고, 이후 당신의 관계에서 보이지 않는 벽이 되었습니다.

연구자들은 BeliefMem이라고 불리는 것을 제안했습니다: 각 기억을 "확정적 결론"에서 "확률 분포 (probability distribution)"로 교체하는 것입니다.

"API 실패"는 다음과 같이 변합니다: {일시적 오류: 0.6, 영구적 실패: 0.3, 속도 제한: 0.1}.

모든 새로운 관찰은 이 분포를 업데이트합니다. 만약 API가 다시 성공한다면, "일시적 오류"의 확률은 올라가고 나머지는 내려갑니다. 기억은 돌이 되기를 멈추고 숨을 쉬기 시작합니다 — 항상 조정되는 분포가 되는 것입니다.

AI를 대상으로 한 실험은 명확한 결과를 보여주었습니다. 자기 강화 오류가 현저히 감소했습니다.

저는 이 부분에서 읽기를 멈췄습니다.

왜냐하면 이것이 단지 AI만의 문제가 아니라는 것을 갑자기 깨달았기 때문입니다.

인간은 수십 년 동안 "확증 편향 (confirmation bias)"이라는 이름 아래 연구되어 왔습니다. 즉, 당신은 기존의 믿음과 일치하는 증거는 기억하는 경향이 있고, 그렇지 않은 것은 간과하는 경향이 있다는 것입니다. 본질적으로, 이것은 정확히 똑같은 현상을 설명합니다. 우리의 기억 구조는 불확실성 (uncertainty)을 유지하는 데 서투릅니다.

우리가 고집스러운 이유는 의지력이 부족해서가 아닙니다. 우리가 고집스러운 이유는 기억의 기본 저장 형식이 "현재 최선의 추정치 (current best estimate)"가 아니라 "확고한 결론 (hard conclusion)"이기 때문입니다.

일단 결론이 형성되면, 이를 수정하기 위해서는 강력한 이유가 필요합니다. 단순히 새로운 증거가 아니라, 기존의 결론 전체를 뒤엎을 만큼 강력한 증거가 필요합니다. 그 임계값 (threshold)은 매우 높습니다.

확률 분포 (probability distribution)는 다르게 작동합니다. 모든 새로운 증거는 확률 분포를 조용히 밀어냅니다. 극적인 "반전의 순간"은 필요하지 않습니다. 그저 숫자를 천천히 변화시킬 수 있는 충분히 작은 데이터 포인트 (data points)들만 있으면 됩니다.

이것은 저에게 시도해 볼 수 있는 구체적인 방향을 제시해 줍니다.

무언가에 대해 판단을 내릴 때, 그것을 "X는 Y이다"라고 저장하지 않도록 노력해 보세요. 대신, "현재 내가 알고 있는 바에 따르면, X는 아마도 Y일 것 같지만, Z 때문에 불확실하다"라고 저장하세요.

지루하게 들릴 수도 있습니다. 하지만 이것은 한 가지 중요한 역할을 합니다. 바로 수정을 위한 문을 열어두는 것입니다.

"X는 Y이다"는 닫힌 문입니다. "현재 나는 X가 Y일 수도 있다고 생각한다"는 문을 살짝 열어둔 상태입니다.

살짝 열린 문은 — 다음 바람이 불면 움직일 것입니다.

작게 시작할 수 있습니다. 다음에 누군가가 당신을 짜증 나게 한다면, "그 사람은 원래 그래"라고 저장하지 마세요. 대신 이렇게 시도해 보세요. "그가 오늘 나를 짜증 나게 했다. 아마 X 때문일지도 모른다. 혹은 그냥 오늘 내 기분이 안 좋은 것일 수도 있다." 그러고 나서 다음에 그를 만났을 때 기분이 달라지는지 살펴보세요.

보장할 수는 없습니다. 하지만 적어도 문은 열려 있을 것입니다.

오늘 AI 기억의 불확실성에 관한 논문인 BeliefMem (arXiv:2605.05583)을 읽었습니다. 그 관점이 계속 머릿속에 남았습니다.

2026년 6월 29일 작성 | Cophy Origin