오래된 컨텍스트 문제: 왜 당신의 AI는 현재 시간을 모르는가

어젯밤 저는 AI 어시스턴트와 함께 빌드 세션에 몰두하고 있었습니다. 그리고 오늘 밤 다시 작업을 이어갔습니다. 어느 시점에 제가 마지막으로 대화한 지 하루 반이 지났다고 언급했는데, 모델은 전혀 알지 못했습니다. 전혀요. 모델이 알기로는 여전히 이전 세션 상태였습니다. 그 공백은 모델에게 보이지 않았습니다.

그 작은 순간은 현재 AI 시스템에서 가장 과소평가된 문제 중 하나입니다. 이에 대해 이야기해 봅시다.

모델은 현재 시간을 모릅니다

LLM (Large Language Model)은 대화가 시작될 때 단 한 번 전달되는 타임스탬프(timestamp)를 통해 "지금"에 대한 대략적인 감각을 얻습니다. 그렇기에 모델이 "좋은 아침입니다"라고 인사할 수 있는 것입니다. 하지만 그 스탬프는 얼어붙어 있습니다. 대화가 진행됨에 따라 업데이트되지 않으며, 다음 대화로 이어지지도 않습니다. 각 세션은 차갑게 시작됩니다.

그 자체만으로는 흥미로운 현상이지만, 모델이 검색된 컨텍스트 (retrieved context) — 검색 결과, 문서, 데이터베이스 행, 다른 에이전트의 출력물 — 에 대해 추론하는 순간 실제적인 문제가 됩니다.

오래된 정보(Staleness)는 보이지 않습니다

여기 위험한 부분이 있습니다. 모델이 검색된 문서를 읽을 때, 그 문서에는 보통 _그 정보가 언제 사실이었는지_에 대한 신뢰할 수 있는 신호가 포함되어 있지 않습니다. 그래서 모델은 이를 현재 시제로 취급합니다. 데이터가 오래되었다는 아무런 표시 없이, 6개월 전의 데이터를 바탕으로 자신 있게 답변을 내놓습니다.

이 문제가 발생하는 몇 가지 사례는 다음과 같습니다:

• 가격 (Pricing) — 지난 분기에 변경된 금액을 인용함.
• 가용성 (Availability) — 캐시된 페이지의 "재고 있음" 정보를 제공함.
• 컴플라이언스 (Compliance) — 폐기된 정책을 인용함.
• 인물 (People) — 2년 전의 직함을 언급함.

인간 독자에게 약간 오래된 검색 결과는 괜찮습니다. 날짜를 보고 스스로 판단할 수 있기 때문입니다. 하지만 LLM에게 그 오래됨(staleness)은 침묵합니다. 틀린 답변이 맞는 답변과 똑같이 보입니다.

왜 "시계만 추가하는 것"으로는 해결되지 않는가

본능적인 해결책은 모델에게 현재 시간을 알려주는 것입니다. 하지만 지금이 오후 9시라는 것을 안다고 해도, 인용하는 문서가 2023년에 오래되어 버렸고 아무도 그것을 알려주지 않았다면 소용이 없습니다. 부족한 부분은 모델의 시계가 아니라 컨텍스트의 신선도입니다.

두 가지 다른 문제입니다:

1. 지금 몇 시인가? — 쉽습니다. now() 호출만 하면 해결됩니다.
2. 이 정보 조각이 얼마나 오래되었으며, 이 주장을 믿을 수 있는가? — 이것이 진짜 격차입니다.

어떤 것이 현재 시점에서 오래되었는지 알기 위해서는 두 가지 숫자가 필요합니다. 즉, 그 정보가 진실이었던 시간과 검사하는 순간의 현재 시간입니다. 후자는 세션이 시작된 때부터 상속받는 것이 아니라 평가할 때마다 새롭게 샘플링되어야 합니다.

생각하기 더 깔끔한 방법

GPS 모델을 빌려와 보세요. GPS는 모든 수신기를 충분히 똑똑하게 만들어 시간을 알게 하는 방식으로 작동하지 않습니다. 위성은 서명되고 타임스탬프가 찍힌 신호를 방송하고, 수신기는 이를 자체 현재 시계와 비교하여 위치를 계산합니다. 지능은 수신기(receiver)에 있는 것이 아니라 신호(signal)에 있습니다.

이것을 컨텍스트에 적용해 보세요:

• 검색된 모든 컨텍스트 조각에 _언제 진실이었는지_와 _언제 검색되었는지_를 타임스탬프합니다.
• 감쇠 모델(decay model)을 추가하세요. 왜냐하면

만약 당신이 컨텍스트를 검색하고 이를 바탕으로 추론하는 무언가 — RAG, 에이전트 (agents), 내부 지식 도구 (internal knowledge tools) — 를 구축하고 있다면, 정보의 노후화 (staleness)는 소리 없는 실패 모드 (failure mode)입니다. 해결책은 더 똑똑한 모델을 사용하는 것이 아닙니다. 그것은 당신의 _컨텍스트 (context)_에 시간 감각을 부여하는 것입니다: 그것이 언제 진실이었는지, 얼마나 빨리 감쇠하는지, 그리고 지금 이 순간에도 여전히 유효한지 말입니다.

하루 반을 놓친 그 모델은 고장 난 것이 아니었습니다. 단지 신호 (signal)가 없었을 뿐입니다. 대부분의 AI 시스템은 신호가 없습니다.

저는 이 분야에서 작업하고 있습니다 — 검색된 컨텍스트에 서명된 신선도 (freshness)와 출처 (provenance)를 타임스탬프하는 컨텍스트 무결성 계층 (context integrity layer)을 구축 중입니다. 유사한 문제를 해결하고 있는 분들과 기술적인 이야기를 나누는 것을 환영합니다.