안녕하세요, Rijul입니다. 저는 모든 커밋에서 실행되는 마이크로 AI 코드 리뷰어인 git-lrc를 만들고 있습니다. GitHub에서 무료로 이용 가능하며 소스 코드가 공개되어 있습니다. 더 많은 개발자가 이 프로젝트를 발견할 수 있도록 git-lrc에 Star를 눌러주세요. 꼭 사용해 보시고 피드백을 공유해 주세요.

당신이 API를 수정하기 위해 AI 에이전트와 함께 작업하고 있다고 가정해 봅시다.

당신은 다음과 같은 간단한 지시를 내립니다:

API 500 에러를 수정하세요.

에이전트는 다음과 같은 워크플로우를 거칠 수 있습니다:

Agent:
→ 로그를 읽음
→ 코드베이스를 검색함
...

30번의 도구 호출 (tool calls)을 거친 후, 에이전트의 컨텍스트 (context)는 매우 거대해질 수 있습니다.

하지만 그 정보의 대부분은 더 이상 유용하지 않을 수 있습니다.

에이전트가 조사 과정의 모든 세부 사항을 영원히 유지할 필요는 없습니다.

다음은 에이전트에게 필요하지 않은 것들입니다:

• 모든 로그의 모든 줄
• 모든 실패한 검색
• 반복되는 정보
• 오래된 도구 출력값 (tool outputs)
• 더 이상 관련이 없는 중간 단계들

에이전트에게 정말로 필요한 것은 **조사의 현재 상태 (current state of the investigation)**입니다.

컨텍스트 문제 (The Context Problem)

에이전트가 조사 과정 동안 40,000 토큰의 컨텍스트를 축적했다고 상상해 보세요.

그 컨텍스트는 귀중한 공간을 차지합니다.

에이전트가 작업을 계속함에 따라, 컨텍스트 윈도우 (context window)는 점차 채워집니다.

결국 에이전트는 새로운 정보를 위한 공간이 줄어들게 되며, 이는 다음과 같은 결과를 초래할 수 있습니다:

• 비용 상승
• 처리 속도 저하
• 향후 도구 호출을 위한 공간 부족
• 중요한 정보가 컨텍스트에서 밀려남

따라서 전체 이력을 그대로 가져가는 대신, 이를 압축할 수 있습니다.

기존의 40,000 토큰은 다음과 같이 변할 수 있습니다:

목표 (Goal):
API 500 에러를 수정하세요.

...

이것이 바로 **컨텍스트 압축 (context compression)**입니다.

컨텍스트 압축이란 무엇인가?

컨텍스트 압축은 단순히 컨텍스트를 짧게 만드는 것이 아닙니다.

목표는 다음과 같습니다:

에이전트가 작업을 계속하는 데 필요한 것은 보존하면서, 더 이상 유용하지 않은 정보를 제거하는 것.

에이전트는 자신이 수행한 모든 단계를 기억할 필요가 없습니다.

그 단계들로부터 얻은 중요한 결론들을 기억해야 합니다.

세 가지 기본 컨텍스트 압축 기술

1. 가지치기 (Pruning)

가장 단순한 기술은 **가지치기 (Pruning)**입니다.

더 이상 유용하지 않은 정보를 제거하는 것입니다.

예를 들어:

Agent:
→ config.yaml 검색함
→ 아무것도 찾지 못함
...

에이전트가 실제 원인을 찾아내고 나면, 실패한 검색 기록은 더 이상 유용하지 않을 수 있습니다.

이러한 기록들은 활성 컨텍스트 (active context)에서 제거될 수 있습니다.

중요한 정보는 다음과 같습니다:

PAYMENT_API_KEY가 누락됨.

가지치기 (Pruning)는 본질적으로 다음과 같습니다:

에이전트에게 더 이상 필요하지 않은 것을 제거한다.

2. 증류 (Distillation)

전체 대화 내용을 그대로 유지하는 대신, 이를 구조화된 요약 (structured summary)으로 변환할 수 있습니다.

예를 들어:

Goal:
API 500 에러 수정.

...

원래의 조사 과정은 수천 개의 토큰 (tokens)을 소모했을 수도 있습니다.

하지만 증류된 상태 (distilled state)에는 에이전트가 작업을 계속하는 데 필요한 정보가 포함되어 있습니다.

유용한 구조의 예시는 다음과 같습니다:

Goal (목표)
Facts (사실)
Decisions (결정)
...

증류 (Distillation)는 본질적으로 다음과 같습니다:

긴 이력을 구조화된 상태 (structured state)로 변환한다.

3. 일반화 (Generalisation)

때때로 조사 과정에는 향후 상황에서 재사용할 수 있는 지식이 포함될 수 있습니다.

예를 들어:

특정 경험:

API 키 누락으로 인해 결제 API가 실패함.
...

에이전트는 이제 단순히 한 가지 특정 사건에서 일어난 일을 기억하는 것에 그치지 않습니다.

그 경험으로부터 일반적인 규칙을 추출하고 있는 것입니다.

이는 다음과 같은 분야에 유용할 수 있습니다:

• 향후 조사 (Future investigations)
• 런북 (Runbooks)
• 에이전트 기술 (Agent skills)
• 장기 기억 (Long-term memory)

일반화 (Generalisation)는 본질적으로 다음과 같습니다:

특정 경험을 재사용 가능한 지식으로 변환한다.

핵심 아이디어 (The Big Idea)

AI 에이전트가 자신의 전체 이력을 영원히 간직할 필요는 없습니다.

그 이력 중 여전히 유용한 부분만을 보존하면 됩니다.

긴 조사 과정은 다음과 같이 보일 수 있습니다:

40,000 토큰의 가공되지 않은 이력 (raw history)
              ↓
       컨텍스트 압축 (Context compression)
...

그러면 에이전트는 실제로 중요한 정보는 유지하면서, 훨씬 더 작은 컨텍스트로 작업을 계속할 수 있습니다.

컨텍스트 압축 (Context compression)은 모든 것을 잊어버리는 것이 아닙니다.

적절한 것을 잊어버리는 것입니다.

AI 에이전트 (AI agents)는 코드를 빠르게 작성합니다. 하지만 사용자에게 알리지도 않은 채 조용히 로직을 제거하거나, 동작을 변경하고, 버그를 유발하기도 합니다. 이러한 문제는 종종 프로덕션 (production) 환경에서 발견되곤 합니다.

git-lrc가 이 문제를 해결합니다. 이 도구는 git 커밋 (git commit)에 연결되어, 변경 사항이 반영되기 전에 모든 디프 (diff)를 검토합니다. 설정은 60초면 충분하며, 완전히 무료입니다.

모든 피드백과 기여자를 환영합니다! 이 프로젝트는 온라인에 공개되어 있으며, 소스 사용이 가능하고(source-available), 누구나 사용할 준비가 되어 있습니다.

Github에서 ⭐ 별점 주기