내 코드베이스가 컨텍스트(Context)에 들어갈까?

이것은 제가 만든 초기 개발 도구 중 하나입니다. 저에게는 "Openclaw 시절" — 올해 2월 초부터 3월 사이 — 에 만들어진 것이며, 당시에는 Codex와 일부 로컬 Ollama를 사용하고 있었습니다. 그때 저는 계속해서 벽에 부딪혔습니다. 컨텍스트 제한(Context limits)이 엄격하고 종종 불충분했기 때문입니다. 이제 1M 토큰 컨텍스트와 더 강력한 프런티어 모델(Frontier models) 등이 등장하면서, 이 도구의 필요성은 줄어들었습니다. 저는 현재 주로 프런티어 모델을 사용하며 솔직히 이 도구를 거의 사용하지 않습니다. 하지만 특정 시점에는 도움이 되었습니다. 컨텍스트가 제한적인 로컬 LLM을 실행하는 분들에게는 여전히 가치가 있을지도 모릅니다.

또한, 완전한 투명성을 위해 말씀드리자면 — 저의 첫 공개 프로젝트에서 실수를 했습니다. "context lens"라는 이름을 상당히 자연스럽게 떠올렸고, npm에서 ctxlens를 검색했을 때 빈 공간임을 확인하고 도구를 만들었습니다. 이를 게시하자 첫날부터 다운로드가 발생하기 시작했습니다. 이상한 일이었죠. 알고 보니 dabit3(실제 개발자)라는 분이 GitHub에 같은 이름의 프로젝트를 만들어 두었고, 그가 게시하지 않은 npm 패키지를 가리키고 있었습니다. 저는 그에게 연락하여 네임스페이스(Namespace)를 양보하겠다고 제안했고, 백업 저장소/패키지로 "tokendu"를 만들었습니다. 프로젝트에 대한 관심이 아마도 식었는지 응답이 없었기에, 저는 이름을 그대로 유지했습니다. 일단은 유지하고 있습니다. ;)

해결하고자 했던 문제들:

• "내 프로젝트가 컨텍스트(context)에 들어갈까?" — 7개 제공업체의 23개 모델에 대해 즉각적인 답변을 제공합니다. 도구를 전환할 필요 없이 Claude에서는 안전하고, GPT-4o에서는 빠듯하며, Grok에서는 한참 초과된다는 것을 알 수 있습니다.
• "어떤 파일이 내 예산을 잡아먹고 있지?" — 파일 및 디렉토리별로 막대 그래프와 함께 순위가 매겨진 상세 내역을 제공합니다. du가 디스크 용량을 차지하는 항목을 찾는 것과 같은 방식으로 토큰을 과다하게 사용하는 항목을 찾아냅니다.
• "주석을 제거하면 얼마나 절약할 수 있을까?" — diff 명령어를 통해 무엇인가를 변경하기 전에 정확한 토큰 절약량을 보여줍니다. 추측이 아닌 예산 시뮬레이션입니다.
• "컨텍스트 예산에 따라 PR(Pull Request)을 제한할 수 있을까?" — --ci 플래그는 임계값을 초과할 경우 0이 아닌 종료 코드로 종료됩니다. 번들 크기(bundle size) 체크와 동일한 패턴입니다.
• "어떤 토크나이저(tokenizer)를 신경 써야 할까?" — cl100k_base와 o200k_base를 나란히 비교합니다. Claude와 GPT 제품군 사이를 전환할 때 유용합니다.
• "내 레포지토리(repo)가 AI용으로 너무 비대해지고 있나?" — watch 모드를 통한 실시간 모니터링을 제공합니다. 코드를 작성함에 따라 사용량이 변하는 것을 확인하세요.

npmjs.com

GitHub logo kVadrum / ctxlens

AI 컨텍스트 윈도우(context windows)를 위한 토큰 예산 분석기 — 토큰을 위한 du와 같습니다.

ctxlens

CI

npm version

npm downloads

license

node

AI 컨텍스트 윈도우(context windows)를 위한 토큰 예산 분석기 — 토큰을 위한 du와 같습니다.

AI 코딩 도구를 사용하는 모든 개발자는 동일한 벽에 부딪힙니다: "내 코드베이스가 컨텍스트(context)에 들어갈까?" 모델이 불평할 때까지 파일을 붙여넣고, 무엇을 포함할지 추측하며, 운이 좋기를 바랍니다. ctxlens는 단 한 번의 명령어로 그 답을 제공합니다.

npx ctxlens scan

Why ctxlens

Why ctxlens

측정할 수 없는 것은 최적화할 수 없습니다. AI 모델에는 128k, 200k, 1M 토큰과 같은 엄격한 컨텍스트 제한 (context limits)이 있으며, 여러분의 코드베이스는 프롬프트 (prompts), 대화 기록 (conversation history), 그리고 도구 출력 (tool output)과 공간을 두고 경쟁하고 있습니다. ctxlens는 여러분의 토큰 예산 (token budget)이 정확히 어디에 사용되는지 알려줍니다.

Problems it solves

• "내 프로젝트가 컨텍스트에 들어갈까?" — 7개의 제공업체(providers)로부터 제공되는 23개 모델에 대해 즉각적인 답변을 제공합니다. 도구를 전환할 필요 없이 Claude에서는 안전하고, GPT-4o에서는 빠듯하며, Grok에서는 한도를 초과했는지 여부를 알 수 있습니다.
• **"어떤 파일이 내 예산을 잡아먹고 있는가?" — 파일 및 디렉토리별로 순위가 매겨진 상세 내역을 막대 그래프와 함께 제공합니다...

View on GitHub

전진합시다.