짧은 정의

컨텍스트 윈도우 (Context window)는 LLM (대규모 언어 모델)이 단일 요청에서 처리할 수 있는 총 토큰 (tokens) 수를 의미합니다. 토큰에는 시스템 지침 (system instruction), 대화 기록, 검색된 문서, 도구 정의 (tool definitions), 그리고 사용자 메시지를 포함하여 모델로 전송되는 모든 것이 포함됩니다. 윈도우 제한을 벗어나는 모든 것은 모델에게 보이지 않습니다. 모델의 관점에서는 존재하지 않는 것입니다.

단어가 아닌 토큰으로 측정하는 이유

LLM은 문자나 단어를 처리하지 않습니다. 토큰화 도구 (tokenizer)에 의해 생성된 텍스트 조각인 토큰을 처리합니다. 영어 텍스트는 단어당 평균 약 0.75개의 토큰을 사용합니다. 포르투갈어 텍스트는 일반적으로 영어보다 단어당 더 많은 토큰을 사용하며, 이는 특정 윈도우에 유스케이스 (use case)가 적합한지 추정할 때 중요합니다. 코드는 더 효율적입니다. 이는 귀하의 유스케이스가 특정 윈도우에 들어가는지 계산할 때 중요합니다.

윈도우 크기의 변화

2020년과 2021년의 초기 프로덕션 모델들은 2,048 또는 4,096 토큰의 윈도우를 가졌습니다. 2023년에는 프런티어 (frontier) 모델들이 32,000 및 100,000 토큰으로 발전했습니다. 2025년과 2026년에는 1,000,000 토큰 이상의 윈도우를 사용할 수 있습니다.

이러한 확장은 이전에는 불가능했던 유스케이스를 가능하게 했습니다: 전체 법률 계약서 분석, 단일 요청으로 전체 코드베이스 (codebase) 처리, 수 주간의 고객 대화 기록 요약 등입니다.

더 큰 윈도우가 더 나은 결과를 의미하지는 않음

컨텍스트 윈도우를 가득 채우는 것이 비용이 들지 않거나 유익하다는 지속적인 오해가 있습니다. 둘 다 아닙니다. 입력 (Inputs)이 길어질수록 요청당 비용이 더 많이 들고, 응답 속도가 느려지며, 종종 더 나쁜 출력 (outputs)을 생성합니다.

긴 컨텍스트 모델 (long-context models)에 대한 연구에서는 'lost in the middle(중간에서 길을 잃음)'라고 불리는 현상이 일관되게 발견됩니다. 이는 긴 컨텍스트의 시작 부분과 끝 부분에 있는 정보가 중간에 있는 정보보다 더 많은 주의 (attention)를 받는 현상을 말합니다. 의도적인 컨텍스트 관리는 단순한 채우기 (naive filling) 방식보다 뛰어난 성능을 보여줍니다. 이에 대해서는 컨텍스트 엔지니어링 (context engineering)에서 심도 있게 다루었습니다.

창(window)을 초과할 때 발생하는 일

구현 방식에 따라 API가 에러를 반환하거나, 요청이 조용히 잘려 나갑니다 (truncated). 프로덕션 (production) 환경에서 이 두 가지 방식 모두 허용될 수 없습니다. 시스템은 입력 (input)이 창을 초과하는 경우를 처리할 수 있어야 합니다.

표준적인 접근 방식은 다음과 같습니다: 입력을 청크 (chunk)로 나누어 여러 번에 걸쳐 처리하거나, 검색 (retrieval)을 사용하여 가장 관련 있는 부분만 선택하거나, 이전 대화 기록을 그대로 보내는 대신 요약하거나, 혹은 더 큰 창을 가진 모델로 라우팅 (routing)하는 것입니다.

프로덕션에서의 창 사용

전형적인 프로덕션 요청에서 시스템 지침 (system instructions)은 5002,000 토큰 (tokens)을 소비합니다. 검색된 문서 청크 (chunks)는 2,00010,000 토큰을 소비합니다. 대화 기록은 크기에 따라 5005,000 토큰을 소비합니다. 도구 정의 (tool definitions)는 5003,000 토큰을 소비합니다. 사용자 메시지는 종종 200 토큰 미만을 소비합니다.

프로덕션에서 구성 요소별 실제 토큰 소비량을 기록하는 것은 창이 어디에서 낭비되고 있는지 찾아내는 방법입니다.

시스템 설계에 대한 실질적인 시사점

평균적인 상황이 아니라, 컨텍스트가 가득 찬 상황을 가정하여 설계하십시오. 대화 기록의 길이에 엄격한 제한을 두십시오. 문서 전체를 포함하는 대신 RAG를 사용하여 선택적으로 검색하십시오. 현재 요청에 모델이 정말로 필요한 도구만 정의하십시오. 프로덕션에서 창 사용량을 측정하고 모니터링하십시오.

이를 의도적으로 수행하는 팀은 더 빠르고, 더 저렴하며, 더 정확한 시스템을 보유하게 됩니다.

원문은 studiolabsai.com에 처음 게시되었습니다. Studio Labs는 엔터프라이즈 팀을 위한 프로덕션용 AI를 구축합니다. 미팅 예약하기.