Meta가 게임의 판도를 바꿨습니다!

Meta가 게임의 판도를 바꿨습니다!

그들이 Context Language Models(CLMs)을 오픈소스로 공개했습니다. LangChain, RAG 또는 어떤 오케스트레이션 하네스(orchestration harness)를 사용하는 대신, 이 모델은 파일처럼 자체적으로 컨텍스트를 관리합니다.

그리고 59% 적은 컴퓨팅 자원으로 모든 SOTA(State-of-the-Art) 컨텍스트 방식보다 뛰어난 성능을 보입니다.

모델에게 끝없는 텍스트 벽을 수동적인 파일 캐비닛처럼 삼키도록 강요하는 대신, 그들은 언어 모델에 혁명적인 무언가를 제공했습니다:

자체적으로 컨텍스트를 관리할 수 있는 능력.

컨텍스트를 동적 파일처럼 다룰 수 있는 능력.

인간이 설계한 프레임워크나 경직된 검색 하네스(retrieval harnesses) 없이, 오로지 가중치(weights)를 통해 자체적인 내부 정책을 학습할 수 있는 능력.

그 결과는 현재의 벤치마크를 산산조각 냈습니다.

온라인 강화학습(online reinforcement learning)을 사용하여 CLMs를 Qwen3.5-9B 모델에 적용했습니다.

BrowseComp-Plus 성능이 47.6% 급증했습니다.

그리고 가장 놀라운 점은 무엇일까요? 이를 수행하는 데 12% 적은 FLOPs(Floating Point Operations)만을 사용했다는 것입니다.

그들은 여기서 멈추지 않았습니다. 서버 측 추론(server-side inference)을 위해 Suffix Cache Reuse를 공동 설계하여, 동일한 성능 대비 표준 SGLang보다 컴퓨팅 비용을 35% 절감했습니다.

수년 동안 연구소들은 LLM의 프롬프트 창에 더 많은 토큰을 채워 넣기 위한 더 스마트한 방법을 엔지니어링하는 데 수십억 달러를 지출해 왔습니다.

그들은 잘못된 문제를 해결하고 있었습니다.