Anthropic의 CEO는 1억 단어 규모의 컨텍스트 윈도우 (Context Window) 구현이 가능하다고 말합니다.

이는 연구의 문제가 아니라 "엔지니어링 및 추론 (Inference) 문제"입니다.

그의 3시간에 걸친 Dwarkesh 인터뷰 내용 중 일부:

→ 컨텍스트 (Context)는 GPT-4 Turbo에 의해 2k에서 128k로 급증했으나, 이후 모델들이 학습 길이를 초과하면서 성능이 저하되는 현상이 약 2년 동안 정체되었습니다.
→ 진짜 장애물: KV 캐시 (KV Cache) 저장과 GPU 메모리 관리 — 과학의 문제가 아닌 하드웨어 물류 (Hardware Logistics)의 문제입니다.
→ 그가 지적한 격차: 모델은 특정 컨텍스트 길이로 학습되지만, 실제 서비스는 다른 길이로 제공됩니다. 바로 이 지점에서 품질이 저하됩니다.
→ 그의 예측: 6개월간의 공유된 이력을 가진, 인간과 구별할 수 없는 AI 동료를 1~3년 내에 보게 될 것입니다.
→ 이 모든 것이 10년 이내에 실현될 것이라는 그의 확신: "95%, 99%"

1억 단어는 수년간의 작업 기억 (Working Memory)에 해당합니다. "내 모델이 또 모든 것을 잊어버렸다"라는 모든 불만에는 해결 날짜가 정해져 있습니다.

이 내용을 저장해 두고 2028년에 그의 계산이 맞았는지 확인해 보세요.