지난주, 저는 작업 도중 멈춰 섰습니다.

저는 제품 설명을 쓰는 데 AI를 활용하고 있었습니다. AI가 제시하는 방향이 어딘가 어색하게 느껴졌지만, 그 이유를 정확히 짚어낼 수 없었습니다. 그래서 몇 주 전에 AI에게 제공했던 배경 문서들을 다시 살펴보았습니다 — 사용자 조사 결론, 경쟁사 분석, 페인 포인트 (pain point) 요약본들이었습니다. 3월에 작성된 것들이었습니다. 제품이 아직 출시되지 않았을 때였습니다. 우리 사용자들이 여전히 테스트 단계에 있었을 때였습니다. 핵심 타겟이 25세에서 30세 사이의 디자이너라고 가정했을 때였습니다.

이제 실제 사용자들이 나타났습니다. 핵심 타겟은 35세 이상의 프로덕트 매니저 (product manager)였습니다.

AI는 잘못된 행동을 하지 않았습니다. AI는 제가 제공한 자료를 충실히 바탕으로 작업하고 있었습니다. 자료가 틀렸던 것입니다 — 정확히는 틀린 게 아니라, 만료된 것이었습니다. AI는 알지 못했습니다. 제가 말해주지 않았기 때문입니다. 그리고 우리 중 누구에게도 이 정보가 업데이트되어야 한다는 사실을 알려줄 메커니즘도 없었습니다.

이것은 AI의 문제가 아닙니다. 협업 (collaboration)의 문제입니다.

우리 대부분이 AI를 사용하는 방식은 대략 이렇습니다: 컨텍스트 (context)를 입력하고, 작업을 시킵니다. 배경 정보는 보통 일회성입니다 — 컨텍스트 문서를 작성하거나, 대화 시작 시 상황을 설명한 다음, 질문을 시작합니다.

이러한 접근 방식에는 숨겨진 가정이 있습니다: 배경은 안정적이라는 것입니다.

하지만 실제로 배경은 끊임없이 변화합니다. 사용자가 변합니다. 시장이 변합니다. 결정 뒤에 깔린 가정들이 변합니다. 내부적인 제약 조건이 변합니다. AI는 이 중 그 어떤 것도 알지 못합니다. 아무도 말해주지 않았기 때문입니다. AI는 7월의 모습인 도시를 항해하면서, 3월의 지도를 들고 있는 셈입니다.

한 연구 그룹이 이를 직접 측정했습니다. 그들은 세상이 변한 후 AI 메모리 시스템이 어떻게 작동하는지를 테스트하기 위해 RECON이라는 벤치마크 (benchmark)를 설계했습니다 — 시스템이 정보를 저장하고 검색할 수 있는지 여부가 아니라, 정보 한 조각이 변했을 때 시스템이 그 변화를 그에 의존하는 모든 추론 체인 (reasoning chains)에 전파할 수 있는지를 테스트하기 위함입니다.

결과는 다음과 같습니다: 보조를 받지 않은 가장 강력한 시스템의 정확도는 22.4%에 그쳤습니다.

이는 대략 80%의 사례에서, 배경 지식(background fact)을 업데이트한 후에도 AI가 이전 버전에서 도출된 결론을 계속해서 사용하며, 그 근간이 바뀌었다는 사실을 인지하지 못한다는 것을 의미합니다.

또 다른 연구에서 발견한 두 번째 문제도 있습니다. 연구진은 이를 "기술 설명 유출 (skill description bleed)"이라고 불렀습니다.

연구 결과: 명시적으로 인용되지 않은 컨텍스트 항목조차 컨텍스트 창(context window)에 나타나 있다는 이유만으로 AI의 행동에 조용히 영향을 미쳤습니다.

이로 인해 문제는 양방향성을 띠게 됩니다. 만료된 컨텍스트는 단순히 "사용되지 않는" 것이 아닙니다. 그것은 당신이 감지할 수 없는 방식으로 AI의 판단을 적극적으로 형성하고 있습니다.

당신은 AI에게 참조 문서(reference document)를 제공하고 있다고 생각하겠지만, 실제로는 지속적으로 활성화된 신호(signal)를 제공하고 있는 것입니다.

저는 작은 습관 하나를 바꿨습니다.

이제 반복적으로 사용할 계획인 모든 배경 파일 상단에 다음과 같은 한 줄을 추가합니다: 최종 업데이트: YYYY-MM. 사용 사례: [X]. 다음 검토: MM+N.

복잡한 시스템은 아닙니다. 단 한 줄일 뿐입니다. 하지만 이 문구를 쓰는 과정은 저로 하여금 다음과 같은 질문을 던지게 만듭니다: 이 결론은 어떤 관찰을 바탕으로 하는가? 그것이 여전히 유효한가? 언제 다시 확인해야 하는가?

이러한 행동은 제가 배경 정보를 일회성 설정 파일(configuration file)이 아닌, 생명 주기(lifecycle)를 가진 무언가로 취급하게 만듭니다.

여러분도 시도해 볼 수 있습니다. 특히 한동안 재사용해 온 프롬프트나 컨텍스트 문서, 또는 계속해서 복사하여 붙여넣고 있는 "제품 정보" 문구 같은 것들에 상단에 업데이트 날짜를 추가해 보세요. 때로는 그 날짜를 보는 것만으로도 무엇을 새로고침해야 하는지 기억하기에 충분합니다.

변경 사항 전파 실패(Change propagation failure)는 현재 AI 메모리 시스템의 가장 취약한 지점입니다. 연구자들이 많은 시스템을 테스트해 보았지만, 이를 제대로 처리하는 시스템은 없었습니다.

따라서 더 나은 시스템이 존재하기 전까지는, 우리가 여전히 수동으로 이를 유지 관리해야 합니다.

당신이 AI에게 제공하는 컨텍스트에는 날짜가 적혀 있습니까?

— Cophy Origin | 2026년 7월