1M 컨텍스트를 최대치로 설정하지 않는 이유: Codex가 300k 컨텍스트를 기본값으로 사용하는 이유

여러 차례의 상호작용(multi-turn)을 하는 AI 코딩 에이전트를 운영하는 많은 개발자들은 익숙한 좌절감을 느낍니다. 오후 내내 어시스턴트에게 두 개의 함수 패치와 테스트 실행을 요청했음에도 불구하고, 주간 할당량 경고가 갑자기 빨간색으로 변합니다. 더 심각한 것은 대화가 길어질수록 어시스턴트가 20턴 전에 읽었던 파일을 잊기 시작하거나 이전 수정을 조용히 되돌린다는 점입니다.

개발자들의 기본적인 본능은 간단합니다. 모델이 기본적으로 1M 컨텍스트를 지원한다면, 왜 제한을 두지 않는가?

2026년 10월 10일, OpenAI의 Codex 및 ChatGPT 팀 엔지니어인 Tibo(@thsottiaux)는 X에서 이 문제에 대해 직접 언급했습니다:

"여러분, 저희가 Codex에 300k를 선택한 이유가 뭐라고 생각하세요? 저희가 수치를 계산해봤는데, 이게 더 좋습니다. 1M도 가능하지만, 사용량 측면에서 훨씬 비싸질 겁니다. 좋은 기본값이 중요합니다."

여러 차례의 상호작용이 필요한 코딩 에이전트 워크플로우에서 어시스턴트는 단일 프롬프트에 응답하는 것이 아닙니다. 매 단계마다 전체 대화 기록, 파일 내용, 도구 출력을 재전송해야 합니다. 1M 컨텍스트를 해제하면 모든 사소한 명령이 값비싼 전체 기록 재계산(full-history recalculation)으로 변모합니다.

실습 테스트: 에이전트 기록의 물리적 비용

현재 어떤 코딩 인터페이스에서든 이 즉각적인 오버헤드를 확인할 수 있습니다:

• 세션 A (긴 대화): 터미널 로그, diff, 프로젝트 파일로 채워진 30턴 이상의 기존 세션을 준비합니다. 단일 검사 명령(Check git status)을 보냅니다.
• 세션 B (새로운 깨끗한 세션): 프로젝트 개요만 있는 완전히 새로운 창을 열고, 정확히 동일한 명령(Check git status)을 보냅니다.

두 창 간의 동작을 비교해 보세요:

1. 지연 시간(Latency): 세션 B는 거의 즉시 스트리밍됩니다. 세션 A는 첫 번째 토큰이 나타나기 전에 몇 초 동안 멈춥니다.
2. 토큰 소비: 세션 B는 1,000 토큰 미만을 소비합니다. 세션 A는 단지 15자 길이의 CLI(Command Line Interface) 쿼리를 실행하기 위해서 수십만 개의 입력 토큰을 소비합니다.

여러 차례 상호작용하는 에이전트 시스템에서 수행되는 동작은 동일하지만, 엔진은 매번 전체 누적 기록을 재소화해야 합니다.

7일간의 실증적 백테스트: 토큰 원장(Token Ledger)

Tibo의 발언은 개발자 Rohit(@rohit3a)가 일일 코딩 세션에서 컨텍스트 압축 임계값을 분석한 7일간의 실증적 백테스트 바로 아래에 도착했습니다. Rohit는 다양한 자동 압축 제한을 걸쳐 주간 할당량 소모를 모델링했습니다:

• 1M 창 (제한 없음): 7일 동안 단 1회의 압축만 발생했지만, 가장 높은 총 주간 할당량 소모를 보였습니다.
• 600k 창: 30회 압축; 주간 사용량을 18% 절감했습니다.
• 400k 창: 82회 압축; 다중 파일 추론에서 성능 저하 없이 주간 사용량을 29% 절감했습니다.
• 300k 창: 126회 압축; 주간 사용량을 36% 절감했습니다.
• 200k 창: 232회 압축; 사용량을 41% 절감했습니다.

이 데이터는 수익 감소(diminishing returns)의 중요한 지점을 보여줍니다. 300k에서 200k로 낮추자 압축 횟수가 84%(126회에서 232회) 급증했지만, 할당량 절감은 추가적으로 단 5%에 불과했습니다. 이렇게 공격적으로 압축하는 것은 모델이 최근의 로컬 변수 정의를 잃고 코드 생성 실수를 반복하게 만들었습니다.

300k에서 400k 범위는 다중 턴 추론을 유지하면서 토큰 비대화(token bloat)를 줄이는 최적의 공학적 균형점을 나타냅니다.

숨겨진 272k 가격 절벽(Pricing Cliff)

긴 세션에서 토큰이 축적되는 것은 단순히 선형적이지 않습니다. 현대 플래그십 API(예: GPT-6 Astra 가격 공개 자료)에서는 비경계 단계 함수(non-marginal step function)인 272,000 토큰 가격 절벽을 적용합니다.

요청이 272,000 입력 토큰을 초과할 때:

• 입력 비율 두 배 (2× Input): 해당 요청의 모든 단일 입력 토큰이 기본 요율의 두 배로 청구됩니다.
• 출력 비율 증가: 출력 토큰은 약 1.5배 급증합니다.

이는 경계 할증료가 아니라 절벽(cliff edge)입니다. 272k를 넘는다는 것은 축적된 전체 기록이 2배 요율로 재계산된다는 의미입니다.

35번째 턴에서 270k 토큰을 보유한 에이전트 세션을 가정해 봅시다. 간단한 테스트 실행으로 예상치 못한 3k 로그 파일을 읽어 총량을 273k까지 밀어냅니다. 즉시, 모든 273k 토큰이 2배 요율로 청구됩니다. 이후의 모든 프롬프트에 대해 비용 속도(cost velocity)가 101% 이상 급증합니다.

이 임계값은 GPU 클러스터 하드웨어 제약에서 비롯됩니다. 약 272k 토큰 부근에서는 KV 캐시(Key-Value Cache)와 어텐션 메커니즘에 대한 메모리 요구량이 최신 클러스터의 표준 텐서 병렬 처리 경계를 초과하여, 상태를 유지하기 위해 두 배로 컴퓨팅 자원이 필요하게 됩니다.

왜 272k 대신 300k인가?

비용이 272k에서 급증한다면, OpenAI는 Codex의 상한선을 272k가 아닌 300k으로 설정한 이유는 무엇일까요?

이는 의도적인 엔지니어링 타협점을 나타냅니다:

1. 28k 스프린트 여유분: 복잡한 리팩토링 작업은 종속성 그래프와 테스트 실행 전반에 걸쳐 통상적으로 220k에서 260k 토큰을 축적합니다. 250k에서 강제 압축을 시도할 경우, 에이전트가 코드를 작성하기 시작하는 바로 그 순간 컨텍스트가 잘릴 위험이 있습니다. 300k까지의 버퍼는 즉각적인 작업을 완료할 공간을 제공합니다.
2. 하드 회로 차단기: 272k를 약간 초과하는 짧은 폭발적 사용은 허용하지만, 300k은 세션이 500k나 1M 영역으로 흘러 들어가는 것을 막는 물리적인 상한선 역할을 합니다.

에이전트 할당량을 위한 실질적 지침

1. 300k 기본값을 신뢰하세요: 공식 구독 인터페이스에서는 컨텍스트 상한선을 인위적으로 1M으로 올리지 마세요. 사용자 지정 압축 임계값(예: /autocompact)을 지원하는 도구의 경우, API 토큰당 비용을 지불한다면 272k 절벽 직전에 중지하도록 트리거를 250k–260k로 설정하세요.
2. 기능별 브랜치 단위로 세션 전환: 전체 주 동안 단일 채팅 세션을 실행하는 것을 피하세요. 세션을 작은 결과물 중심으로 구성하세요. 첫 번째 세션에서는 아키텍처에 대해 논의하고, 두 번째 세션에서 구현을 작성 및 검증한 다음, 커밋하고 다음 모듈을 위해 새로운 세션을 시작하세요.
3. 모델 계층화 (Model Tiering): 초기 리포지토리 탐색 및 문서 검색에는 빠르고 가벼운 모델(예: Gemini 3.8 Flash)을 사용하세요. 핵심 리팩토링을 위해서는 300k 범위 내에서 최전선 추론 모델(예: GPT-6.1-sol 또는 Claude Sonnet)으로 전환하세요.

아직 할 필요가 없는 것들

복잡한 로컬 벡터 데이터베이스를 설치하거나 사용자 지정 토큰 프루너 스크립트를 작성할 필요는 없습니다. 프로덕션 소프트웨어 개발에서는 기본 컨텍스트 제한을 유지하고 검증된 커밋 후 매번 깨끗한 세션을 여는 것이 전체 할당량 절감액의 80% 이상을 차지합니다. 좋은 기본 설정은 예산을 보호하여 컴퓨팅 자원이 작동하는 코드에 집중되도록 합니다.