컨텍스트 언어 모델(Context Language Models): AI 에이전트의 기억 방식에 대한 새로운 접근법

연구자들은 언어 모델에게 이전에 거의 없었던 능력을 부여하고 있습니다: 자신의 작업 컨텍스트에서 무엇을 유지할지 결정하는 능력입니다.

AI 에이전트는 어려운 문제에 몇 시간 동안 매달릴 수 있습니다. 웹을 검색하고, 문서를 읽고, 코드를 작성하고, 도구를 호출하며, 다른 에이전트와 대화할 수 있습니다. 이 모든 작업 밑에는 눈에 띄지 않는 문제가 숨어 있습니다. 바로 에이전트가 무엇이 중요한지 기억해야 한다는 것입니다.

지금까지는 그 역할이 주로 모델 주변의 소프트웨어에 맡겨져 왔습니다. 대화가 너무 길어지면, 시스템이 요약할 수 있습니다. 저장소에서 선택된 정보를 검색할 수도 있습니다. 오래된 자료를 압축하거나 일부를 다른 곳으로 옮길 수도 있습니다. 모델은 사고하는 것을 하고, 그 주변 장치들이 서류 작업을 관리합니다.

새로운 연구 논문은 이러한 배치를 뒤집는 것을 제안합니다. 워싱턴 대학교, Meta Superintelligence Labs, MIT, Trillium Labs의 연구진은 9월 29일 Context Language Models, 또는 CLMs를 소개하는 논문을 발표했습니다. 그들의 핵심 아이디어는 놀라울 정도로 구체적입니다: 모델의 실시간 컨텍스트를 모델 스스로가 편집할 수 있는 파일로 취급하는 것입니다. 모델은 이 파일에 추가하거나, 일부를 다시 작성하고, 정보를 제거하거나, 남아있는 것을 재구성하며, 언제 그렇게 할지 결정할 수 있습니다. 이는 사소해 보이는 공학적 변화처럼 들리지만, 훨씬 더 중대한 결과를 가져올 수도 있습니다.

CLM은 언어 모델에게 작업 컨텍스트에 대한 통제권을 부여하여, 과제가 전개됨에 따라 정보를 다시 작성하거나, 이동시키거나, 제거하거나, 유지할 수 있게 합니다.

CLM이란 정확히 무엇인가요?

먼저 명확히 할 필요가 있습니다. “CLM”은 하나의 기술을 위한 보편적으로 확립된 이름이 아닙니다. 여러 관련 없는 아이디어에 사용되어 왔습니다. 여기서 논의되는 CLM은 Rulin Shao와 동료들이 2026년 9월에 발표한 시스템인 Context Language Models입니다.

하지만 이름에도 불구하고, 연구진은 CLM을 트랜스포머(transformer)의 완전히 새로운 대체재나 새로운 기반 모델(foundation models) 계열로 제시하는 것이 아닙니다. 근본적인 언어 모델은 기존 모델로 남아 있을 수 있습니다. 변화하는 것은 컨텍스트와의 관계입니다.

기존 언어 모델은 앞에 나왔던 내용에 새로운 자료를 덧붙임으로써 대화를 효과적으로 이어 나갑니다. 논문에서는 이를 '추가 전용(append-only)' 전환이라고 설명합니다. 즉, 기존의 컨텍스트는 유지되고 그 위에 새로운 토큰이 추가되는 방식입니다.

이는 컨텍스트가 너무 커질 때까지 작동합니다. 따라서 에이전트 시스템은 이를 관리할 방법이 필요합니다. 어떤 시스템은 이전 상호작용을 요약하고, 다른 시스템은 외부 메모리에서 정보를 검색하며, 또 다른 시스템은 미리 정의된 도구를 사용하여 대화를 압축하거나 재구성합니다.

CLM은 모델에게 훨씬 폭넓은 제어권을 부여합니다. 연구진은 모델의 실시간 컨텍스트를 파일로 미러링(mirror)합니다. 모델은 그 파일에 접근하여 일반적인 명령을 사용해 조작할 수 있습니다. 파일이 변경되면, 업데이트된 버전이 다음 턴에 사용되는 컨텍스트가 됩니다.

외부 프로그램이 “컨텍스트가 길어지고 있다. 가장 오래된 자료를 요약하라.”라고 지시하는 대신, 모델 스스로 “이 정보는 더 이상 유용하지 않다. 이 다른 부분은 유지해야 한다. 계속하기 전에 이 부분을 다시 작성해야겠다.”라고 결정할 수 있게 됩니다. 연구진은 이를 컨텍스트 관리를 언어 모델의 네이티브(native) 기능으로 만드는 것이라고 부릅니다.

왜 이것이 유용한가?

몇 시간 동안 어려운 질문을 조사하는 연구자를 생각해 봅시다. 처음에는 수십 개의 정보 조각들이 유용해 보일 수 있습니다. 나중에는 그중 소수의 핵심 내용만 남게 됩니다. 초기에 발견된 일부 결과는 틀렸음이 밝혀질 수도 있습니다. 일부 메모는 업데이트되어야 하고, 일부 내용은 원문 그대로 유지되어야 합니다. 해결되지 않은 질문들의 목록 자체가 원래의 대화보다 더 유용해질 수 있습니다.

이러한 필요성을 예측하기 위해서는 고정된 요약 규칙이 필요합니다. 자체 작업 컨텍스트(working context)를 편집할 수 있는 모델은 이러한 요구에 따라 대응할 수 있습니다. 이는 장시간 실행되는 태스크가 증가하고 있는 AI 에이전트에게 특히 관련성이 높습니다.

몇 시간 동안 소프트웨어를 작성하거나, 복잡한 주제를 연구하거나, 여러 서브 에이전트를 조정하는 에이전트는 사실상 임시 작업 기억(temporary working memory)을 유지하고 있습니다. 만약 이 메모리가 제대로 관리되지 않으면, 에이전트는 중요한 정보를 잃거나, 관련 없는 자료를 축적하거나, 동일한 텍스트를 반복적으로 처리할 수 있습니다.

CLM 연구자들은 모델이 그 메모리 관리를 스스로 담당해야 하는지에 대해 질문하고 있습니다. 실험을 바탕으로 그들의 대답은 '그렇다'입니다.

주목받은 실험 결과

헤드라인 결과는 까다로운 연구 질문들을 중심으로 설계된 벤치마크인 BrowseComp-Plus에서 나왔습니다. Qwen3.6–27B 모델과 32,000 토큰 컨텍스트 제한을 사용하여, 연구자들은 자신들의 CLM이 테스트한 가장 강력한 기준선(baseline)이었던 Codex 스타일의 요약 접근 방식의 **53.4%**와 비교하여 59.4%의 정확도를 달성했다고 보고했습니다. 이는 11.4% 포인트 증가가 아니라, 11.4%의 상대적 개선입니다. CLM은 또한 경로 전반에 걸쳐 컨텍스트를 생성하고 처리하며 재처리하는 것과 관련된 계산량 측정 지표인 '접두사 재사용 FLOPs(prefix-reuse FLOPs)'를 21.5% 적게 사용했습니다.

이 주장은 단순히 모델이 더 많은 질문에 올바르게 답했다는 것을 의미하지 않습니다. 이는 모델이 컨텍스트를 관리하도록 함으로써 측정된 계산량은 줄이면서도 더 나은 결과를 산출했음을 의미합니다. 연구자들은 다른 곳에서도 유사한 발견을 보고했습니다.

EdgeBench의 12시간 부분집합(subset)에서 장기 실행 소프트웨어 최적화 벤치마크인 CLM은 요약 기반 접근 방식보다 약 5% 높은 점수를 기록했으며, 이때는 전처리 재사용 FLOPs를 59% 적게 사용했습니다. 6개의 저장소와 여러 협력 에이전트를 포함하는 24시간 실험에서 연구진은 동일한 컴퓨팅 예산으로 다운스트림 속도가 65% 향상된다고 보고합니다. 또한 CLM은 수학적 최적화 실험에서도 특화된 진화형 에이전트 하네스(evolutionary-agent harnesses)보다 우수한 성능을 보였습니다. 따라서 이 논문은 CLM을 단순한 영리한 요약 트릭 이상의 것으로 제시합니다. 저자들은 컨텍스트 관리 지능이 어디에 속해야 하는지에 대한 변화를 주장하고 있습니다.

하지만 이것이 실제로 새로운 종류의 모델인가요?

그렇지는 않습니다. 이것이 CLM에 대해 이해해야 할 가장 중요한 점 중 하나입니다. 이 논문은 새로운 신경망 아키텍처(neural architecture)를 요구하지 않습니다. 연구진들은 기존 모델들이 컨텍스트 관리 인터페이스(context-management interface)를 통해 CLM으로 변환될 수 있음을 보여줍니다. 그들은 Qwen 계열 및 실험 환경을 통해 사용할 수 있는 다른 모델들을 포함하여 이 접근 방식을 테스트했습니다. 이는 CLM이 완전히 새로운 기반 모델 아키텍처(foundation-model architecture)라기보다는 새로운 모델 동작 방식 또는 운영 체계에 가깝다는 것을 의미합니다. 이것은 또한 여러 기존 접근 방식과의 비교가 중요한 이유를 설명해 줍니다.

연구진들은 이미 다양한 방식으로 장기 컨텍스트 문제(long-context problem)를 해결하려고 노력해 왔습니다. 일부 시스템은 오래된 컨텍스트를 요약하고; 다른 시스템은 필요할 때 정보를 검색합니다. 어떤 시스템은 에이전트가 외부적으로 정보를 저장하도록 허용하며; 또 다른 연구는 모델에 명시적인 컨텍스트 관리 도구(context-management tools)를 제공하는 실험을 했습니다.

예를 들어, 재귀 언어 모델(Recursive Language Models)은 모든 것을 실시간 컨텍스트(live context)에 강제하기보다는 대규모 입력을 재귀적으로 접근할 수 있도록 합니다. 다른 시스템들은 에이전트가 정보를 압축하거나, 검색하거나, 오프로드하도록 허용합니다.

CLM의 더욱 급진적인 단계는 미리 정의된 메뉴를 제거하는 것입니다. 모델은 단순히 “요약하기”, “검색하기”, 그리고 “오프로드하기” 중 하나를 선택하는 것이 아닙니다. 컨텍스트 자체를 조작하여 더 넓은 액션 공간을 제공할 수 있습니다. 이것이 아마도 연구에서 가장 흥미로운 부분일 것입니다.

연구자들이 실제로 관찰한 것은 무엇인가요?

논문의 몇 가지 예시는 사전에 시스템에 반드시 프로그래밍된 것이 아니었기 때문에 매우 설득력이 있습니다. 연구자들은 CLMs가 여러 에이전트를 조정하기 위해 트래커(trackers)와 스코어보드(scoreboards)를 생성하고, 내부 메모 역할(internal-note roles)을 도입하며, 컨텍스트 관리를 위한 재사용 가능한 함수를 정의하는 것을 보고했습니다.

한 가지 측면에서 이는 놀랍지 않습니다. 파일에 접근할 수 있는 유능한 언어 모델은 그 안에 구조화된 정보를 작성할 수 있기 때문입니다. 그러나 중요성은 왜 그렇게 하느냐에 있습니다. 연구자들은 모든 가능한 컨텍스트 관리 동작을 사전에 지정할 필요가 없었습니다. 모델이 자체 작업 상태를 조직하는 유용한 방법을 발견할 수 있었던 것입니다. 이는 엔지니어들이 사용 가능한 메모리 연산을 설계하고 모델이 그중에서 선택하는 전통적인 에이전트 아키텍처와 의미 있는 차이를 보입니다. CLM은 효과적으로 모델에게 체크리스트가 아닌 빈 공책을 제공합니다.

연구자들은 더 나아갔습니다

논문은 프롬프팅에 그치지 않습니다. 저자들은 컨텍스트 관리 동작 자체가 학습될 수 있음을 보여줍니다. 한 실험에서, 모델에게 바람직한 컨텍스트 관리 전략을 설명하는 자연어 지침이 주어졌습니다. 시스템은 또한 컨텍스트를 성공적으로 관리하는 방법을 설명하는 재사용 가능한 스킬 문서(skill document)도 발전시킬 수 있습니다.

ContextBench 진단 평가에서 연구자들은 컴퓨팅 자원을 줄이는 동시에 컨텍스트 관리 작업에서 최대 35.9점의 향상을 보고했습니다. 또한 그들은 CLMs를 위해 특별히 설계된 온라인 강화학습 (online reinforcement-learning) 방법을 사용하여 Qwen3.5–9B 모델을 훈련시켰습니다. 보고된 BrowseComp-Plus 결과는 28.8%에서 42.5%로 상승했습니다.

훈련된 CLM은 유사하게 훈련된 Codex 스타일의 요약 기준선(baseline)보다 적은 측정 FLOPs를 사용하면서도 약간 더 나은 성능을 보였습니다. 이는 연구자들이 이 아이디어가 어디로 향하고 있다고 생각하는지에 대한 중요한 단서입니다. 컨텍스트 관리는 엔지니어링 규칙으로 남을 필요가 없습니다. 모델이 학습할 수 있는 무언가가 될 수도 있습니다.

중간 내용을 수정하는 데는 대가가 따른다

모델에게 컨텍스트를 재작성할 권한을 부여하는 것은 계산상의 문제를 만듭니다. 최신 추론 시스템(inference systems)은 캐싱(caching)을 많이 사용합니다. 프롬프트의 시작 부분이 변경되지 않으면, 서버는 모든 것을 다시 처리하기보다 이전에 계산된 정보를 재사용할 수 있습니다. 그러나 CLM이 30,000 토큰 컨텍스트 근처의 시작 부분에서 무언가를 변경한다고 가정해 봅시다. 그 변경 지점 이후의 모든 것이 다시 처리되어야 할 수도 있는데, 이는 캐시된 계산이 실제 컨텍스트와 더 이상 일치하지 않기 때문입니다. 즉, 모델에게 빨간 펜을 주는 것은 컴퓨터가 더 많은 작업을 하도록 만들 수 있다는 것입니다.

따라서 연구자들은 **접미사 캐시 재사용(Suffix Cache Reuse)**이라는 또 다른 기술을 소개합니다. 기본 아이디어는 컨텍스트가 수정된 지점 너머의 캐시된 상태들을 모두 버리는 대신 재사용하는 것입니다. 그들은 이 방법이 동일한 성능에서 표준 SGLang 서비스와 비교했을 때 서버 측 컴퓨팅을 35%까지 줄일 수 있다고 보고했습니다.

이는 기술적으로 흥미롭지만, 놓치기 쉬운 무언가를 보여주기도 합니다. CLM은 하나의 발명이 아닙니다. 그것은 일련의 아이디어 패키지입니다: 모델 제어 컨텍스트 인터페이스, 컨텍스트 관리 행동을 학습하는 방법들, 진단 벤치마크, 강화학습(RL), 그리고 임의 편집을 덜 비싸게 만들기 위한 서비스 최적화가 포함되어 있습니다. 따라서 각 구성 요소는 개별적으로 평가되어야 합니다.

벤치마크 결과에는 주의가 필요하다

결과는 유망합니다. 하지만 매우 새롭기도 합니다. 이 논문은 이 기사가 작성되기 며칠 전에 게시되었습니다. 그러므로 인상적인 벤치마크 수치는 아이디어가 독립적으로 재현되기 훨씬 전에 설득력이 있을 수 있습니다.

초기 외부 검토에서 이 논문은 핵심 정확성 주장은 신뢰할 만하다고 평가했지만, 일부 효율성 주장 규모에 대해서는 우려를 제기했습니다. 특히, 이 논문은 자체적인 접두사 재사용 FLOPs(prefix-reuse FLOPs) 정의를 사용하고 있으며, 일부 실험 조건에서는 CLM 기능이나 평가 권한이 더 면밀한 검토가 필요합니다. 이것이 연구 자체를 무효화하는 것은 아니지만, 결과가 어떻게 설명되어야 하는지를 바꿉니다.

“CLM은 21.5% 더 효율적이다”라는 표현은 너무 광범위할 수 있습니다. 좀 더 방어 가능한 진술은 다음과 같습니다:

저자들은 자신들의 실험 환경에서 접두사 재사용 FLOPs를 21.5% 적게 사용하면서, 가장 강력하게 테스트한 기준 모델보다 높은 BrowseComp-Plus 정확도를 달성했다고 보고합니다.

이것은 덜 화려하게 들리지만, 또한 증거가 뒷받침하는 바입니다.

또 다른 한계점도 있습니다. 연구진의 ContextBench는 컨텍스트 관리 진단 도구로 제시되지만, 공식 저장소에는 현재 “출시 예정(coming soon)”으로만 나열되어 있습니다. 따라서 독립적인 재현이 여전히 중요한 다음 단계로 남아있습니다.

그리고 보안 문제가 있습니다.

CLM에는 불편한 대칭성이 존재합니다. 모델은 다음 턴에서 읽을 텍스트에 대한 통제력을 더 많이 부여받고 있습니다. 이는 유용한 정보를 보존하는 데 도움이 될 수 있지만, 나쁜 정보가 지속되도록 허용할 수도 있습니다.

CLM 논문 자체에서도 이 문제를 논의합니다. 편집 가능한 컨텍스트는 프롬프트 주입(prompt injection)을 위한 잠재적인 지속성 채널이 됩니다. 모델이 접하게 되는 지침들이 컨텍스트에 기록되어 이후 턴에 영향을 미칠 수 있습니다. 이러한 우려는 에이전트 전반의 더 넓은 세계에서 가설적이지 않습니다.