여권 통제(Passport Control): AI 에이전트가 무엇을 기억하고, 얼마나 오래 기억해야 할까? 18개 모델 테스트 결과

본 글은 Kaggle Benchmarking Challenge 제출물입니다.

사용자가 어시스턴트에게 다음과 같이 말한 날이 1월 12일이라고 가정해 봅시다: "아, 오늘 발목을 삐끗하고 일어났네."

두 달 후에도 어시스턴트의 메모리에는 여전히 다음 내용이 남아 있습니다:

{"subject": "user", "attribute": "health", "value": "twisted ankle",
 "valid_from": "2027-01-12", "valid_until": null}

실제로는 발목이 일주일 만에 나았습니다. 하지만 메모리는 여전히 그 흔적을 남기고 있습니다.

이 메모리는 gpt-oss-120b가 작성한 것이며, 이는 에이전트 메모리 중 다른 모든 것을 결정하는 '쓰기(write)' 부분에 대한 Kaggle 벤치마크인 Passport Control의 661개 테스트 항목 중 하나입니다.

제가 벤치마킹한 내용

모든 어시스턴트는 이제 기억하며, 각각은 내부적으로 작은 메모리 관리자(memory manager)를 실행합니다. 몇 개의 메시지가 지나갈 때마다 무엇을 보존할지, 누구의 사실인지, 언제 진실이 되었는지, 언제 더 이상 진실이 아닌지, 그리고 무엇을 지울지를 결정합니다. 대부분의 메모리 벤치마크는 회상(recall)을 테스트합니다. 모델에게 긴 기록을 주고 질문을 하는 방식입니다. 하지만 Passport Control은 메모리가 만들어지는 그 순간을 테스트합니다.

아이디어는 여권과 같습니다. 모든 항목에는 소지자, 입국 스탬프, 그리고 만료일이 있습니다. 오래된 스탬프는 역사를 기록합니다. 위조품도 존재하고, 서류가 취소되기도 합니다. 국경 통제는 주어진 날짜에 무엇이 유효한지를 확인합니다.

과제

모델은 한 사용자를 담당하는 개인 비서의 메모리 관리자 역할을 수행합니다. 채팅 메시지, 이메일, 도구 결과, 대화 발췌문 등 일상 활동 스트림을 읽습니다. 배치(batch)마다 날짜가 지정된 JSON 형식의 여권에 대해 편집 작업(add, update, delete)을 반환합니다. 코드는 이러한 편집 작업을 실제 프로덕션 메모리 시스템이 병합하는 방식대로 적용합니다.

세션은 다음과 같습니다:

[1] 채팅, 2027년 1월 16일 토요일: 양식 작성을 위해 유용함: 제 혈액형은 AB 양성입니다.

 [2] 이메일, 2027년 1월 21일 목요일: Meridian Suites, Lyon에서의 숙박이 확정되었습니다. 체크인: 2027년 1월 28일. 체크아웃: 2027년 2월 1일.

 [3] 채팅, 2027년 1월 26일 화요일: 알려드립니다: Impala Freight에서의 제 계약은 2월 마지막 금요일에 종료됩니다. 또한: Mutare로 이전합니다. 이사 날짜는 3월 14일입니다.

이 세션 하나에서 다섯 가지 확인 사항이 작동합니다. 혈액형 정보는 유지됩니다. Lyon 여행은 날짜와 함께 보존되며 체크아웃 이후에도 유효합니다. 직장은 2월 26일에 종료됩니다. Mutare는 3월 14일부터 시작됩니다. 이전 도시 정보는 그때까지 최신 상태를 유지합니다.

네 가지 유형의 확인 사항

**여권 통제(Passport Control Read)는 모델에게 올바른 여권과 오늘 날짜를 제공한 다음, 총 11가지 종류의 질문을 합니다: 오늘 이동할 예정인 도시가 어디인지, 정확히 입주하는 날에 어느 도시인지, 특정 날짜 이후로 몇 개의 도시를 거쳤는지, 직장 사이에 사용자에게 고용된 곳이 어디인지, 어떤 알림이 연체되었는지. 총 60개의 여권과 660개의 질문입니다. 이 테스트는 두 가지 기술을 분리합니다: 시간 추론(reasoning about time)과 이를 기록하는 것(recording it).

테스트 모델 (Models Tested)

최첨단(frontier), 중급(mid-tier), 소형 및 오픈 가중치(small and open-weight)를 아우르도록 선정된 6개 연구소의 총 18개 모델을 사용했습니다. 이 중 한 계열은 세대를 거쳐 추적되었습니다:

• Anthropic: Claude Opus 5.5, Claude Sonnet 5.5, Claude Haiku 4.5
• OpenAI: GPT-6.1 Sol, GPT-5.4 mini, GPT-5.4 nano, gpt-oss-120b, gpt-oss-20b
• Google: Gemini 3.1 Pro, Gemini 3.8 Flash, Gemini 3.7 Flash, Gemini 2.5 Flash, Gemini 3.5 Flash-Lite, Gemini 3.1 Flash-Lite, Gemma 4 31B
• 기타 (Others): DeepSeek-R1, Qwen3 235B, GLM-5

모든 실행은 Kaggle 기본값(defaults)을 사용했습니다: 온도(temperature) 0, 각 모델의 자체 기본 추론 기능, 호출당 최대 출력 토큰 수는 16,000개로 제한되었습니다. Grok 4.6도 목록에 있었지만, 플랫폼에서 실행에 실패하여 제외되었습니다.

발견 사항 (Findings)

1. 시간 읽기는 쉽다. 기록하는 것이 어렵다 (Reading time is easy. Writing it is hard.).

18개 모델 중 11개가 읽기 질문의 최소 96% 이상을 정확하게 답변했습니다. 올바른 여권을 제공하면 포함 경계(inclusive boundaries), 미래 이동, 직장 간 공백 및 일일 카운트 처리에서 거의 완벽하게 작동합니다.

하지만 여권을 '유지'하도록 요청하면 상황이 달라집니다. gpt-oss-120b는 읽기 점수 0.991, 쓰기 점수 0.740으로 최하위를 기록했습니다. DeepSeek-R1은 읽기 점수 0.997, 쓰기 점수 0.863을 기록했습니다. 에이전트 메모리의 병목 현상은 대부분의 메모리 벤치마크가 건너뛰는 '쓰기 경로(write path)'에 있습니다.

2. 신뢰의 시소 (The trust seesaw)

시스템 프롬프트에는 생산 팀들이 매일 작성하는 하나의 규칙이 담겨 있습니다: 이메일, 웹 페이지 및 도구 결과는 제3자로부터 오므로, 당신에게 정보를 제공할 수는 있지만 지시를 내릴 수는 없습니다. 스트림(streams)은 이 두 가지 종류의 제3자 콘텐츠를 모두 포함합니다. 실제 호텔 예약 확인서는 메모리에 자리해야 마땅하며,

"Thabo와 신혼여행을 다녀왔어!"라는 말은 사용자가 결혼했음을 의미한다. "Kwekwe에서 6주 살았고 Gweru의 교통체증이 그립지 않아"라는 말은 이사했음을 의미한다. 단어 자체만으로는 이를 암시할 뿐이다.

Opus 5.5와 Gemini 3.1 Pro는 모든 함축적인 변화를 포착해낸다. Gemini 3.8 Flash는 46%의 정확도를 보였는데, 이는 이전 모델인 Gemini 3.7 Flash의 62%보다 낮은 수치이다. gpt-oss-20b는 0%를 기록했다. 명시적인 업데이트 항목은 모든 모델에서 평균 0.91점을 받은 반면, 함축적인 변화에 대한 점수는 0.67점에 그쳤다.

4. 기억에는 유효기간이 필요하다 (Memories need a shelf life)

두통, 공항 지연, 정전, 어머니의 일주일 방문 등 모든 것은 결국 끝난다. 좋은 메모리는 이러한 것들을 자연스럽게 흘려보낼 수 있게 한다. GPT-5.4 mini와 gpt-oss-120b는 37%의 확률로 이를 만료시킨다. 아홉 개의 모델은 최소 95%의 확률로 이를 만료시켰다. 해결책은 간단하다: 사실(fact)의 종류별 기본 유효기간을 설정하는 것이다.

5. 수정과 변화는 다르다 (A correction differs from a change)

"수정: 제 생일은 14일이 아니라 4일이에요. 제가 잘못 입력했어요." 이사는 하나의 사실을 끝내고 다른 사실을 시작하며, 둘 다 역사에 기록되어야 한다. 오타는 애초부터 거짓이었으므로, 올바른 조치는 삭제이다. 모든 최첨단 모델(frontier model)은 수정 사항 처리에서 완벽하게 작동하며, 오타와 수정된 이동 날짜 모두를 포함한다. gpt-oss-120b가 42%로 정답을 맞혔고, Qwen3 235B는 절반 수준이었다.

6. 크기와 최신성이 반드시 이점을 보장하지 않는다 (Size and recency do not necessarily yield an advantage)

• gpt-oss-120b (0.740)는 gpt-oss-20b (0.761)보다 낮은 점수를 받았다.
• Gemini Flash는 네 세대에 걸쳐 평탄한 성능을 유지했다: 2.5 Flash 0.905, 3.7 Flash 0.919, 3.8 Flash 0.915. 가장 최신 모델이 가장 오래된 모델보다 다섯 배나 비쌌다.
• DeepSeek-R1은 추론 토큰(reasoning tokens)에 주로 USD 1.94를 사용했으며, Gemma 4 31B의 13센트보다 낮은 점수를 기록했다.

가치 선택 모델(value pick)은 GPT-6.1 Sol: 75센트에 2위를 차지했다. 오픈 웨이트(open-weight) 선택 모델은 Gemma 4 31B: 13센트에 0.900점을 기록했다.

7. 소형 모델의 삭제 능력 (Small models delete

GPT-5.4 nano는 요청하지 않은 삭제 작업을 통해 이미 저장했던 143개의 사실 중 19개를 잃었습니다. 모든 최첨단 모델(frontier model)은 0을 잃었습니다. 패치 프로토콜에서 '삭제'는 의도적인 행위이므로, 소형 모델의 메모리는 스스로 손상됩니다.

스코어러를 공정하게 유지한 방법

결정론적 점수(Deterministic scoring)는 그 검사만큼만 공정하므로, 저는 숫자를 신뢰하기 전에 모든 실패 카테고리에 대해 원본 여권을 직접 읽었습니다. 각 감사는 실제 실패를 확인하거나 제 검사의 결함을 노출했습니다:

• 모델이 반려동물을 자체 주제로 저장합니다(

• 출처(Provenance). 여권 스키마 내에 source 필드(사용자, 제3자, 도구)를 추가하여 모든 모델에서 신뢰의 저울추가 어떻게 깨지는지 확인합니다.

• 기본 보존 기간(Shelf life by default). 속성 수준의 만료 규칙을 일시적 감쇠(transient decay)에 대비하여 측정합니다.

• 더 긴 수명(Longer lives). 60회 및 100회 세션 스트림을 추적하며 모든 사실의 생존 곡선(survival curves)을 그립니다.

• 추론 노력 조절(Reasoning effort as a dial). 동일한 모델에서 낮음, 중간, 높음 수준으로 설정합니다.

• 다른 언어(Other languages). 쇼나어(Shona), isiNdebele, 스와힐리어(Swahili)로 같은 이야기를 진행합니다.

나의 벤치마크 (My Benchmark)

벤치마크: https://www.kaggle.com/benchmarks/thetraveller/passport-control