몇 달 전, 저는 어떤 AI 모델이 가장 긴 컨텍스트 윈도우 (Context Window)를 가졌는지 일일이 수동으로 확인하는 것에 지쳤습니다. 매주 어떤 제공업체가 조용히 모델 카드 (Model Card)를 업데이트하거나, 더 큰 숫자를 가진 새로운 모델이 출시되면서 아무도 모르는 사이에 리더보드 (Leaderboard)가 바뀌곤 했습니다.

그래서 저는 단순하지만 집요한 것을 하나 만들었습니다. 광고된 컨텍스트 윈도우(https://modelatlas.net/blog/long-context-models) 또는 가격(https://modelatlas.net/blog/cheapest-ai-models)을 기준으로 360개 이상의 AI 모델을 스크래핑하고 순위를 매기는 자동 업데이트 데이터베이스입니다. 이 데이터베이스는 OpenRouter, 공식 제공업체 문서, 그리고 모델 카드에서 정보를 가져옵니다. 제공업체가 사양을 변경할 때마다 데이터베이스는 몇 시간 이내에 업데이트됩니다.

그러던 중, 제가 이를 지켜보고 있을 때 랭킹 알고리즘이 저를 멈춰 서게 만든 일을 저질렀습니다.

Llama 4 Scout가 10,000,000 토큰의 컨텍스트 윈도우를 기록하며 1위 자리에 나타난 것입니다.

저는 꼬박 1분 동안 그 숫자를 응시했습니다. 천만 개. 그것은 단순히 GPT-4보다 큰 수준이 아니었습니다. Claude보다 크고, Gemini보다 크며, 그 무엇보다도 컸습니다. 두 번째로 큰 모델(Llama의 주장 이후 Grok)보다 5배나 더 컸습니다. 저의 첫 생각은 여러분이 예상하는 그대로였습니다. "... 뭐라고?"

저는 파헤쳐 보지 않을 수 없었습니다.

하이프(Hype): Meta가 실제로 판매하고 있는 것

1,000만 토큰이 어느 정도인지 감을 잡아봅시다. 이는 대략 750만 단어에 해당합니다. 해리 포터 시리즈 전체를 단 하나의 프롬프트 (Prompt)에 넣고도 후속 질문을 할 수 있는 여유가 있습니다. 10년 치의 고객 지원 티켓, 기업의 전체 법적 조사 자료, 또는 전체 커밋 히스토리가 포함된 거대한 코드베이스를 한꺼번에 쏟아부을 수 있습니다.

여기서 Meta의 전략은 꽤나 영리합니다. OpenAI, Anthropic, 그리고 Google이 엔터프라이즈 계층과 월 20달러 이상의 구독 모델 뒤에 긴 컨텍스트를 가두어 두는 동안, Meta는 정반대의 방향으로 나아갔습니다. 그들은 컨텍스트 길이를 사치스러운 기능이 아닌, 범용적인 상품 (Commodity)으로 만들고자 했습니다.

Llama 4 Scout는 Mixture-of-Experts (MoE) 아키텍처를 기반으로 구축되었습니다. 총 파라미터는 1,090억 개이지만, 토큰당 활성화되는 파라미터는 170억 개에 불과합니다. 이를 통해 추론 비용 (Inference costs)을 관리 가능한 수준으로 유지합니다. 하지만 진짜 마법은 iRoPE — interleaved Rotary Position Embeddings입니다. Meta는 표준 RoPE 레이어 (로컬 컨텍스트를 처리함)와 NoPE 레이어 (No Positional Encoding, 거리 편향 없이 전역적으로 주의를 기울임)를 교차하여 사용합니다. 이러한 3:1 패턴을 통해, 대부분의 모델이 128K를 넘어서면 직면하게 되는 이차 함수적 메모리 급증 (Quadratic memory death spiral) 현상 없이 1,000만 토큰까지 확장할 수 있다고 주장합니다.

가격은 거의 터무니없을 정도로 저렴합니다. OpenRouter에서 입력 토큰 100만 개당 0.08달러입니다. 이론적으로 1,000만 토큰을 한 번에 흡수할 수 있는 오픈 웨이트 (Open-weight), 네이티브 멀티모달 (Natively multimodal) 모델치고는 말입니다.

서류상으로만 보면, Meta는 모든 독점적 롱 컨텍스트 (Long-context) 모델들을 가격은 비싸고 사양은 낮은 것처럼 보이게 만들었습니다.

진실: 숫자가 거짓말을 하기 시작하는 지점

여기서부터는 제가 투명하게 말씀드려야 할 것 같습니다. 제가 실제로 테스트를 해보았는데, 마케팅 문구는 현실과 부딪히는 순간 살아남지 못했기 때문입니다.

첫째, OpenRouter의 현실입니다. Scout의 아키텍처는 1,000만 토큰을 지원합니다. 하지만 OpenRouter에서는 현재 327,680 토큰으로 엄격하게 제한되어 있습니다. 이것도 여전히 거대한 수치이며 — 대부분의 프로덕션 워크로드 (Production workloads)가 필요로 하는 것보다 큽니다 — 하지만 1,000만 토큰은 아닙니다. 아직 어떤 호스팅 제공업체도 전체 윈도우를 제공하고 있지 않습니다. 1,000만이라는 숫자는 이론적인 한계치일 뿐, 실질적인 수치가 아닙니다.

둘째, 컨텍스트 윈도우 (Context window)가 곧 이해의 범위 (Comprehension window)는 아니라는 점입니다. 이 부분이 뼈아픈 대목입니다. Fiction.LiveBench의 독립적인 벤치마크에 따르면, Scout는 128K 컨텍스트 윈도우 내에서의 이해를 요구하는 작업에서 단 15.6%의 정확도만을 기록했습니다. 오타가 아닙니다. 주장하는 용량의 아주 일부인 128K에서도 심각하게 고전하고 있습니다. 건더기 찾기 (Needle-in-haystack) 검색은 잘 작동합니다. 9,000,000번째 토큰에 묻혀 있는 특정 사실을 찾아낼 수 있습니다. 하지만 그 사실을 1,000,000번째 토큰에 있는 무언가와 연관 지어 추론하라고 시키면 어떻게 될까요? 환각 (Hallucinate)을 일으키거나, 잊어버리거나, 혹은 최근 토큰에만 집착합니다.

실질적인 추론 절단점 (Reasoning Cutoff)은 약 256K 토큰 부근에서 형성되는 것으로 보입니다. 그 범위를 넘어서면, 당신은 추론 파트너를 얻는 것이 아니라 언어 모델이 부착된 매우 비싼 검색 인덱스 (Search Index)를 얻게 되는 셈입니다.

셋째, 경쟁자들이 따라잡았고, 심지어 추월했습니다. Scout가 1,000만(10M) 토큰으로 헤드라인을 장식하는 동안, DeepSeek는 실제로 사용 가능한 100만(1M) 토큰 컨텍스트 윈도우 (Context Window)를 갖춘 V4를 조용히 출시했습니다. DeepSeek V4-Pro는 하이브리드 희소 주의 집중 (Hybrid Sparse Attention) 방식을 통해 100만 토큰을 처리하며, 이전 모델 대비 추론 FLOPs를 27%만 사용하고, 입력 토큰 100만 개당 비용은 0.435입니다. DeepSeek V4-Flash는 100만 개당 0.14로 훨씬 더 저렴합니다. 그리고 Scout의 이론적인 1,000만 토큰과 달리, DeepSeek의 100만 토큰은 모든 공식 서비스에서 기본값이며, 대규모 환경에서도 실제로 유지되는 벤치마크 점수를 보여줍니다.

Grok조차 200만(2M) 컨텍스트 윈도우를 제공하며 — 이는 Scout가 주장하는 1,000만 토큰 다음으로 두 번째로 큰 규모입니다 — xAI의 계층형 API에는 뒤처져 있지만, 적어도 실제로 서비스되는 수치입니다.

따라서 아니요, Scout는 "현재 OpenRouter에서 가장 가성비 좋은 롱 컨텍스트 모델 (Best value long-context model)"이 아닙니다. DeepSeek V4가 존재하고, Grok이 존재합니다. Scout는 저렴하지만, 이해력 (Comprehension)이 윈도우 크기에 따라 확장되지 않는다면 저렴하다고 해서 자동으로 최고의 가성비를 의미하지는 않습니다.

그럼에도 불구하고 이 발견이 중요하다고 생각하는 이유

Scout에 결함이 있다면, 왜 저는 이에 대해 쓰고 있는 걸까요?

그것이 바로 제가 자동 업데이트 데이터베이스를 구축한 이유이기 때문입니다. AI 환경은 이제 너무나 소란스러워서, 어떤 모델이 1,000만 토큰 컨텍스트 윈도우를 가졌다고 주장하더라도 수십 개의 다른 발표들에 묻혀버릴 수 있으며, 대부분의 개발자들은 실제 한계치가 327K이고 실제 이해력이 256K에서 떨어진다는 사실은커녕 그 모델이 존재한다는 것조차 알지 못할 것입니다.

제가 Scout를 찾아낸 이유는 제 데이터베이스가 보도 자료를 읽지 않고 숫자를 읽기 때문입니다. 그리고 그 숫자들은 하나의 이야기를 들려주었습니다. Meta는 비록 실행력이 아직 따라오지 못했을지라도, 오픈 웨이트 (Open Weights)를 통해 컨텍스트 길이가 민주화될 것이라는 데 베팅하고 있다는 사실입니다. 그들은 1,000만 토큰의 가능성을 팔고 있으며, 결국 누군가는 그것을 서비스할 인프라를 구축하게 될 것입니다.

그것이 진짜 내러티브(Narrative)입니다. "Scout가 놀랍다"라거나 "Scout는 쓰레기다" 같은 것이 아닙니다. 바로 이것입니다: 컨텍스트 윈도우(Context Window) 전쟁이 너무 빠르게 진행되고 있어서, 무엇이 실제이고 무엇이 마케팅인지 추적하기 위해서는 살아있는 데이터베이스가 필요하다는 사실입니다.

이 혼돈을 헤쳐나가기 위해 내가 만든 도구

여기서부터는 여러분께 솔직하게 말씀드리겠습니다.

제가 https://modelatlas.net을 만든 이유는 모델들을 비교하기 위해 다섯 개의 서로 다른 탭을 열어야 하는 것에 지쳤기 때문입니다. 이것은 OpenRouter를 기반으로 구축된 360개 이상의 AI 모델을 위한 통합 대시보드이자 채팅 인터페이스입니다. 여러분이 직접 API 키를 가져오면 됩니다. 키를 생성하는 것은 무료이며, 별도의 계정이나 구독을 관리할 필요 없이 카탈로그에 있는 어떤 모델과도 즉시 대화할 수 있습니다.

Scout를 찾아낸 컨텍스트 윈도우 순위는? 해당 사이트에서 실시간으로 확인할 수 있습니다. 자동으로 업데이트됩니다. 어떤 모델이 실제로 광고된 컨텍스트를 제공하는지, 어떤 모델이 제공업체(Provider)에 의해 제한되어 있는지, 그리고 어떤 모델이 대규모 환경에서 실제 이해력을 제공하는지 확인할 수 있습니다.

Scout의 327K 제한을 직접 스트레스 테스트(Stress-test)해보고 싶으신가요? https://modelatlas.net/chat에서 가능합니다. OpenRouter 키를 붙여넣는 것 외에는 별도의 설정이 필요 없습니다. 키를 생성해 본 적이 없다면 사이트 내에 전체 튜토리얼이 있으며, 약 30초 정도 걸립니다.

동일한 프롬프트(Prompt)에서 DeepSeek V4 또는 Grok과 실제로 어떻게 비교되는지 알고 싶으신가요? 대화 도중에 모델을 전환해 보세요. 이 도구의 핵심 목적은 "이 모델에 대해 들었다"와 "이 모델을 실제로 테스트하고 있다" 사이의 마찰을 제거하는 것입니다.

• https://modelatlas.net/find-ai
• https://modelatlas.net/model/meta-llama-4-scout
• https://modelatlas.net/chat

결론 (The Bottom Line)

결론 (The Bottom Line)

Llama 4 Scout를 통한 Meta의 전략은 명확합니다. 바로 컨텍스트 윈도우 (Context Window) 자체를 민주화하는 것입니다. 그들은 현재의 구현이 실제보다는 지향점에 가깝더라도, 1,000만 토큰을 오픈 웨이트 (Open-weight)의 현실로 만든 기업이 되고자 합니다. iRoPE 아키텍처 (Architecture)는 진정으로 흥미롭습니다. MoE (Mixture of Experts) 효율성 또한 실재합니다. 327K로 제공되는 윈도우는 여전히 수많은 RAG (Retrieval-Augmented Generation) 및 검색 작업에 유용합니다.

하지만 "아키텍처가 1,000만 토큰을 지원한다"는 것과 "모델이 1,000만 토큰을 이해한다" 사이의 간극은 매우 거대합니다. 그리고 그 간극 사이에서, DeepSeek V4와 같은 모델들은 실제 작동하는 더 작은 수치를 광고하며 Scout의 시장 점유율을 잠식하고 있습니다.

AI 분야에는 더 많은 과장 (Hype)이 필요하지 않습니다. 더 많은 투명성이 필요합니다. 그것이 제가 자동 순위 데이터베이스를 구축한 이유입니다. 그것이 제가 ModelAtlas를 만든 이유입니다. 그리고 제가 여러분에게 Scout에 대해 이야기하는 이유이기도 합니다. Scout가 최고의 모델이기 때문이 아니라, 이를 찾아내고, 테스트하고, 실제 한계를 이해하는 것이야말로 우리 모두가 해야 할 일이기 때문입니다.

여러분은 프로덕션 환경에서 200K 토큰 이상의 롱 컨텍스트 (Long-context) 모델을 사용해 본 적이 있나요? 실제로 어느 지점에서 모델이 무너졌나요? 저는 진심으로 그 결과가 궁금합니다.