장시간 실행되는 에이전트들은 지루한 실패 패턴을 보입니다. 대화가 누적되다가 모델의 컨텍스트 윈도우 (Context Window)에 도달하면 작동을 멈춰버리는 것이죠. xAI는 Grok 4.5를 위한 해결책인 컨텍스트 압축 (Context-compaction) 엔드포인트를 출시했지만, 사용자가 직접 적절한 주기에 맞춰 호출하고 그 결과를 매우 특정한 방식으로 다시 입력해야 합니다.

grok-loop-kit이 이 작업을 대신 해줍니다.

npm install grok-loop-kit     # Node (CJS + ESM + types)
pip install grok-loop-kit     # Python

루프 (The loop)

import { GrokLoopClient } from 'grok-loop-kit';

const client = new GrokLoopClient(process.env.XAI_API_KEY!, {
...

모든 sendMessage는 사용자 턴을 추가하고, POST /v1/responses를 호출하며, 턴 횟수가 경계값에 도달하거나 렌더링된 컨텍스트가 토큰 예산을 초과하면 POST /v1/responses/compact를 호출한 뒤 그 결과로부터 트랜스크립트 (Transcript)를 다시 구축합니다.

실제로 중요한 주의사항 (The gotcha that actually matters)

xAI의 압축 엔드포인트는 다음 요청의 input에 있는 그대로 (verbatim) 다시 입력해야 하는 항목을 반환합니다:

{ "type": "compaction", "id": "cmp_…", "encrypted_content": "…” }

요약된 사용자 메시지로 전달하는 것이 아니라, 수정되지 않은 정확한 항목을 전달해야 합니다. 이를 잘못 처리하면 컨텍스트를 잃거나 기록이 손상됩니다. grok-loop-kit은 이를 처리하며 (일반 문자열을 반환하는 게이트웨이/모의 환경에서도 우아하게 대응합니다).

압축이 실제로 정보를 보존할까요, 아니면 조용히 잊어버릴까요? 저는 적대적인 방식으로 테스트했습니다. 초반에 예측 불가능한 금고 코드 5개를 심어두고, 4번의 실제 압축 (각각 약 10개의 메시지 삭제)이 강제될 만큼 충분한 턴을 실행한 뒤, 정확한 회상을 요구했습니다.

✅ 4번의 압축 후에도 5/5개의 정확한 코드를 회상함

코드가 무작위이기 때문에, 압축된 encrypted_content가 실제로 코드를 전달하지 않았다면 모델은 답할 수 없습니다. 결과는 성공적이었습니다.

네이티브 LangGraph (Native LangGraph)

GrokLoopChatModel은 실제 BaseChatModel이므로, LangGraph 에이전트에 즉시 적용할 수 있습니다:

import { GrokLoopChatModel } from 'grok-loop-kit/langgraph';
import { createReactAgent } from '@langchain/langgraph/prebuilt';

...

LangChain은 매 턴마다 **전체 히스토리 (full history)**를 포함하여 모델을 호출하기 때문에, 이 어댑터는 병렬 트랜스크립트 (parallel transcript)를 유지하는 대신 해당 히스토리를 압축합니다 (이는 들어오는 메시지들의 순수 함수입니다). 도구 호출 (Tool calls)은 AIMessage.tool_calls로 파싱됩니다. 이는 실제 createReactAgent 도구 루프를 통해 엔드 투 엔드 (end-to-end)로 검증되었습니다.

(1.0 버전의 교훈: ChatOpenAI가 아닌 BaseChatModel을 확장하세요 — LangChain 1.x 버전에서 ChatOpenAI.withConfig/bindTools는 일반 ChatOpenAI로 복제되며, 서브클래스의 _generate를 조용히 누락시킵니다.)

1.0의 다른 기능들

• 토큰 콜백 (token callback)을 지원하는 스트리밍 (Streaming, SSE)
• Retry-After를 준수하는 지수 백오프 (exponential backoff) 기반 재시도 (Retries)
• 호출별 AbortSignal + 요청 타임아웃 (request timeout)
• 내구성이 있고 재개 가능한 에이전트를 위한 getState() / loadState()
• asyncio를 위한 AsyncGrokLoopClient
• 25개의 Node + 16개의 Python 테스트; MIT 라이선스

압축 (Compaction)은 언제 도움이 되나요?

압축은 트랜스크립트를 하나의 밀집된 레코드 (dense record)로 대체합니다. 이는 원본 트랜스크립트가 레코드보다 더 커지는 시점, 즉 긴 대화에서 이점이 됩니다. 메시지가 매우 짧은 경우에는 레코드가 절약하는 비용보다 더 많은 비용이 들 수 있으므로, compactAtTokens 값을 현실적으로 유지하세요 (수백 개가 아닌 수천 개 단위). 이는 대규모 컨텍스트 최적화 (large-context optimization)이며, 에이전트가 컨텍스트 윈도우 (context window) 내에 무기한으로 머물 수 있도록 유지해 줍니다.

Repo: https://github.com/Booyaka101/grok-loop-kit · npm i grok-loop-kit

xAI의 context-compaction docs를 기반으로 제작되었습니다.