1M 토큰 컨텍스트 윈도우(Context Window)는 용량 제한입니다.

그것은 운영 예산이 아닙니다.

긴 컨텍스트(Long-context) 모델은 에이전트에게 매 턴마다 전체 저장소(Repository), 검색된 모든 문서, 그리고 전체 도구 이력(Tool history)을 보내고 싶게 만듭니다.

그렇게 하면 여전히 느리고, 비용이 많이 들며, 혼란스러워하는 AI 시스템이 만들어질 수 있습니다.

컨텍스트 윈도우는 이미 사용처가 정해져 있습니다

에이전트는 사용자 지침(User instructions)만을 위해 컨텍스트를 사용하는 것이 아닙니다.

에이전트는 또한 다음과 같은 항목들을 위한 공간이 필요합니다:

• 시스템 지침 (System instructions)
• 도구 정의 (Tool definitions)
• 검색된 문서 (Retrieved documents)
• 소스 파일 (Source files)
• 도구 출력 (Tool outputs)
• 이전 메시지 (Prior messages)
• 구조화된 출력 요구사항 (Structured output requirements)
• 다음 모델 응답 (The next model response)

이 모든 것이 모델 제한 범위 내에 들어오더라도 결과는 좋지 않을 수 있습니다.

더 많은 컨텍스트는 더 많은 무관한 파일, 약해진 검색 집중도(Retrieval focus), 더 긴 프리필 시간(Prefill time), 그리고 더 높은 토큰 비용을 의미할 수 있습니다.

1M 토큰의 컨텍스트를 가진 모델이라고 해서 모든 작업에 1M 토큰을 사용해야 한다는 뜻은 아닙니다.

최근 사례: Kimi K3

Kimi K3는 컨텍스트 길이(Context length)가 비용 및 운영 결정 사항이기도 하다는 점을 상기시켜 주는 유용한 사례입니다.

Kimi Code는 1M 컨텍스트 K3 옵션과 256K 컨텍스트 옵션을 모두 문서화하고 있습니다. 해당 문서에 따르면 1M 버전은 256K 버전보다 약 두 배의 할당량(Quota)을 사용합니다.

또한 모델 ID를 전환하거나 추론 노력(Reasoning effort)을 변경하면 기존의 컨텍스트 캐시(Context cache)가 무효화되어 컨텍스트를 다시 프리필(Prefill)해야 할 수 있다고 경고합니다.

이는 긴 에이전트 세션 중간에 모델을 전환하는 것이 단순히 품질에 관한 결정이 아니라는 것을 의미합니다.

그것은 즉시 지연 시간(Latency)과 비용에 관한 결정이 될 수 있습니다.

동일한 원칙이 모든 멀티 모델(Multi-model) AI 애플리케이션에 적용됩니다.

운영 예산을 정의하세요

모델의 최대 컨텍스트를 사용 가능한 입력 예산으로 취급하는 대신, 앞으로 수행되어야 할 작업을 위해 용량을 남겨두세요.

type ContextBudget = {
...