LangChain 없이 구현하는 컴팩트한 LLM 대화 기록 관리 (의존성 없음)

긴 대화는 결국 모델의 컨텍스트 윈도우 (context window)를 초과하게 됩니다. 일반적인 해결책들은 모두 단점이 있습니다. 오래된 대화 내용을 삭제하면 문맥을 잃게 되고, 모든 내용을 유지하면 요청이 컨텍스트 용량에 맞지 않게 됩니다.

절충안은 오래된 대화는 요약하고, 최근 대화는 그대로 유지하는 것입니다. 하지만 오늘날 이 방식은 보통 LangChain의 메모리 클래스나 호스팅된 "메모리 플랫폼"을 채택하는 것을 의미합니다. 단순히 빌딩 블록 (building block)만 필요한 경우라면, 이는 너무 많은 부수적인 기능(baggage)을 동반합니다.

그래서 저는 **chatcram**을 만들었습니다. 이는 사용자가 제공하는 요약기(summarizer)를 통해 일반적인 메시지 딕셔너리(message dicts) 상에서 정확히 그 역할을 수행하는, 아주 작고 의존성이 없는 (zero-dependency) 라이브러리입니다.

설치 (Install)

pip install chatcram

사용법 (Use it)

from chatcram import Compactor

def summarize(transcript: str) -> str:
...

반환되는 결과물:

• 맨 앞에 그대로 유지되는 system 메시지
• (사용자의 요약기를 통한) 오래된 중간 부분에 대한 하나의 요약 메시지
• (keep_recent 토큰까지) 그대로 유지되는 가장 최근의 대화 내용

만약 대화 기록이 이미 budget 내에 들어온다면, 변경 없이 그대로 반환됩니다.

왜 요약기를 직접 가져와서 사용(bring-your-own summarizer)해야 하나요?

이를 통해 chatcram은 의존성이 없고 (dependency-free), 특정 제공자에게 종속되지 않게 (provider-agnostic) 유지됩니다. summarize는 GPT, Claude, 로컬 모델, 심지어 LLM이 아닌 휴리스틱 (heuristic) 방식까지 어떤 str -> str 호출 가능 객체(callable)든 상관없습니다. 숨겨진 API 호출도 없고, 특정 서비스에 종속(lock-in)되지도 않습니다.

contextcram과 함께 사용하기

chatcram은 _대화 기록 (history)_을 처리하고, contextcram은 _전체 프롬프트 (whole prompt)_를 처리합니다. 대화를 압축한 다음, 이를 (시스템 프롬프트 + 검색된 문서와 함께) 토큰 예산 (token budget)에 맞춰 패킹(pack)하세요:

from chatcram import Compactor
from contextcram import Packer

...

프레임워크 없이도 대부분의 컨텍스트 관리 요구사항을 충족할 수 있는, 두 개의 작고 의존성 없는 구성 요소입니다.

LangChain memory / mem0와 무엇이 다른가요?

솔직한 답변을 드리자면: 아이디어 자체가 새로운 것은 아닙니다. LangChain의 ConversationSummaryBufferMemory나 mem0/Zep 같은 플랫폼들도 이 기능(및 그 이상)을 수행합니다. chatcram은 기능을 포기하는 대신 독립적이고(standalone), 의존성이 없으며(dependency-free), 프레임워크에 종속되지 않는(framework-agnostic) 특성을 취합니다. 즉, 플랫폼이 아닌 빌딩 블록 (building block)입니다.

시도해 보세요 (Try it)

pip install chatcram

• ⭐ Repo: https://github.com/Waelr1985/chatcram
• 📦 PyPI: https://pypi.org/project/chatcram/

MIT 라이선스, 완전한 타입 지정 (mypy --strict), Python 3.10–3.13에서 테스트되었습니다. 피드백을 환영합니다 — 특히 기본 설정인 유지/요약 (keep/summarize) 분할 방식에 대한 의견을 기다립니다.