Claude AI에서 토큰을 낭비하지 않기 위한 실전 가이드

서론 ✨

Claude AI를 사용하면서 "그렇게 많이 쓴 것 같지도 않은데, 왜인지 청구 금액이 이상하게 높다..."라고 느낀 적이 없으신가요?

만약 짐작 가는 부분이 있다면, 그 원인은 세션 내에서 자신도 모르는 사이에 거의 가치를 창출하지 못하는 처리에 토큰을 소비하고 있기 때문일지도 모릅니다.

Claude와의 상호작용에서 사용되는 토큰의 상당수는 반드시 새로운 내용을 생성하기 위해서만 사용되는 것이 아닙니다. 몇 가지 통계와 실제 관측에 따르면, 경우에 따라서는 약 98.5%의 토큰이 과거의 컨텍스트 (Context)를 다시 읽기 위해 사용된다고도 합니다.

여기서 말하는 과거의 컨텍스트란 예를 들어 다음과 같은 것들입니다.

• 지금까지의 대화 이력
• 읽어 들인 파일
• instruction (지시 사항)
• tool result (도구 결과)
• 이미 입력된 정보

즉, 우리가 다음과 같은 짧은 요청을 보낸다고 해도,

"이 부분의 수정을 계속해 주세요"

Claude는 그 한 문장만을 읽는 것이 아닙니다. "이 부분"이 무엇을 가리키는지 이해하기 위해, 그 앞에 있는 방대한 정보도 다시 읽어야 합니다.

그렇기 때문에 세션이 길어지면 길어질수록, 컨텍스트를 적절히 관리하지 않는 한 비용은 예상보다 수십 배로 불어날 가능성이 있습니다.

이 기사에서는 세션이 길어질수록 Claude의 토큰 사용량이 늘어나고 작업 효율이 떨어지는 이유, 그리고 토큰을 절약하면서 Claude와 효율적으로 작업하기 위한 5가지 습관에 대해 소개합니다.

세션이 길어지면 Claude의 효율이 떨어지는 이유: Context Rot (컨텍스트의 부패) ⚠️

Context Rot이란 직역하면 "컨텍스트의 부패"라는 의미입니다.

세션이 길어짐에 따라 오래된 요구사항, 이미 수정된 코드, 불필요해진 로그, 도중에 기각된 방침 등이 컨텍스트 내에 계속 남게 됩니다.

그 결과, Claude가 현재 상황을 올바르게 판단하기 어려워지며, 답변의 정밀도나 작업 효율이 떨어지게 됩니다.

예를 들어, Claude와의 작업 세션이 다음과 같은 상태라고 가정해 봅시다.

• 처음에 문서, 사양서, 코드 등을 10,000토큰 분량 입력함
• 그 후, 매번 100토큰 정도의 짧은 질문을 추가함
• Claude는 매번 500토큰 정도의 답변을 반환함

새로 보내고 있는 메시지만 보면 다음과 같이 느낄지도 모릅니다.

"매번 짧은 질문을 하나씩 추가할 뿐이니까, 그렇게까지 비용이 들지는 않을 거야"

하지만 실제로는 각 턴 (Turn)마다 Claude는 처음에 입력된 약 10,000토큰의 정보에 더해, 그때까지의 대화 이력도 다시 읽고 있을 가능성이 있습니다.

20턴 정도 상호작용을 계속하면, "새로운 답변을 생성하기 위한 토큰"보다 "과거의 이력을 다시 읽기 위한 토큰"이 훨씬 더 커지는 경우가 있습니다.

이것이 청구 금액이나 usage report (사용량 보고서)를 보았을 때, 많은 사람이 "생각보다 훨씬 많이 쓰고 있다"며 놀라는 이유 중 하나입니다.

일반적으로는 컨텍스트가 길면 길수록 AI가 더 많은 정보를 이해할 수 있고, 정보량이 많은 만큼 더 효율적으로 작업할 수 있다고 생각하기 쉽습니다. 하지만 실제로는 그렇지 않습니다.

인간의 경우, 대화나 작업 중에서 "이것은 이제 불필요하군", "이 방침은 채택하지 않기로 했지"라고 판단한 정보는 자연스럽게 의식 밖으로 밀어낼 수 있습니다.

반면, LLM은 인간처럼 불필요해진 컨텍스트를 그 자리에서 자동으로 버리는 데 능숙하지 않습니다. 명시적으로 clear 하거나, 불필요한 정보를 제거한 새로운 세션으로 이동하지 않는 한, 과거의 대화나 오래된 정보도 컨텍스트 내에 계속 남게 됩니다.

그렇기 때문에 세션이 길어지면 컨텍스트에는 다음과 같은 정보가 포함되기 시작합니다.

• 이미 올바르지 않게 된 오래된 요구사항
• 이미 수정된 오래된 코드
• 오래된 검증 결과
• 더 이상 관계가 없는 로그
• 도중에 기각된 접근 방식
• 서로 모순되는 여러 개의 instruction (지시 사항)
• "음...", "계속해줘", "수정해줘", "그게 아니에요"와 같은 대화

그 결과, Claude의 생산성이 떨어지고 있음을 나타내는 다음과 같은 징후가 나타나게 됩니다.

• 이전 답변과 모순됨
• 파일을 사전에 읽지 않고 무작위로 수정함
• 컨텍스트나 이미 합의한 내용을 잊어버림
• 우회적이고 논리적이지 않으며 모호한 답변을 함
• 응답 속도가 느려짐

GitHub의 7,000건 이상의 세션을 분석한 연구 데이터에 따르면, 세션이 길어질수록 Claude의 정보 검색 정확도는 92%에서 7~8%로 저하되고, 사고 품질은 67% 하락하며, 파일을 사전에 읽지 않고 수정하는 행동은 6%에서 34%로 증가한다고 합니다.

요약하자면, 세션이 길어질수록 Claude의 작업은 부실해지고 효율도 떨어집니다. 그렇게 되면 사용자는 계속해서 다시 질문하거나, 정정하거나, 수정을 요청해야 하는 상황이 발생합니다. 그리고 그 상호작용 자체가 다시 토큰을 소비하게 됩니다. 이 루프야말로 Context Rot(컨텍스트 부패)이라는 현상으로 이어지는 원인입니다.

Claude에서 토큰을 절약하고 효율적으로 작업하기 위한 5가지 습관 💡

1. /RE 또는 /rewind를 사용하기

Claude의 답변이 기대와 다를 때, 추가 메시지를 보내는 대신,

그게 아니라, 이런 식으로 다시 해주세요

와 같이 추가 메시지를 보내면 잘못된 답변도 그대로 컨텍스트 (Context)에 남게 됩니다.

따라서 /RE를 사용하여 이전 메시지로 돌아가 잘못된 부분을 삭제하고, 깨끗한 상태에서 다시 시작하도록 합니다.

2. 컨텍스트가 60% 정도 되었을 때 수동으로 리셋하기

Claude에는 컨텍스트가 95% 정도에 도달했을 때 자동으로 압축 (Compact)하는 기능이 있습니다.

하지만 그 타이밍에는 중요한 정보의 20~30% 정도밖에 남지 않는 경우가 있습니다.

따라서 컨텍스트가 60% 정도에 도달했을 때, Claude에게 지금까지 실시한 내용을 요약하도록 합니다.

그 후 요약을 복사하고, clear 명령어로 컨텍스트를 리셋합니다. 마지막으로 새로운 채팅에 그 요약을 붙여넣어 작업을 계속합니다.

이렇게 하면 중요한 정보를 잃지 않으면서 불필요한 컨텍스트만 정리할 수 있습니다.

3. Claude에게 전달하기 전에 파일 형식을 목적에 따라 정리하기

토큰 절약 관점에서는 HTML이나 PDF를 마크다운 (Markdown) 형식으로 변환하여 Claude에게 전달하는 것이 유효할 때가 있습니다.

HTML 파일을 마크다운 형식으로 변환하면 읽어들일 때의 토큰을 크게 줄일 수 있습니다. PDF 파일의 경우에도 불필요한 레이아웃 정보나 메타데이터 (Metadata)를 제거함으로써 Claude가 읽어야 할 정보를 정리하기 쉬워집니다.

단, 항상 마크다운이 최적인 것은 아닙니다.

예를 들어, Claude에게 읽히기만 하면 되는 보고서나 사양서라면 마크다운과 같은 단순한 텍스트 형식이 다루기 쉽고 토큰 효율도 좋습니다.

반면, 화면 이미지, 인터랙션 (Interaction), 도표, 디자인 시스템, 슬라이드, 비교표 등 사람이 시각적으로 확인하는 것도 중요한 자료에서는 HTML이 더 유효할 수도 있습니다. HTML이라면 레이아웃이나 색상, 접기(Folding), 탭, 간단한 조작 등을 포함할 수 있어 단순 텍스트보다 내용을 이해하기 쉬워지는 경우가 있습니다.

즉, 기준은 다음과 같이 생각하면 좋습니다.

• AI에게 읽히는 것이 주 목적인 자료 → 마크다운 (Markdown)
• 사람도 읽고 확인하는 자료 → HTML
• 레이아웃이나 외관이 중요한 자료 → HTML
• 내용만 추출하고 싶은 자료 → 마크다운 (Markdown)

또한, 온라인 변환 도구를 사용할 때는 주의가 필요합니다. 사내 자료, 고객 정보, 소스 코드, 미공개 사양 등을 외부 서비스에 업로드하면 정보 유출의 리스크가 있습니다.

따라서 기밀 정보를 포함하는 파일은 온라인 변환 도구가 아니라 로컬 환경에서 변환하거나, 이용해도 문제없는 서비스인지 사전에 확인한 후 사용하는 것이 안전합니다.

공개 정보나 샘플 데이터라면 다음과 같은 온라인 변환 도구를 사용할 수도 있습니다.

단, 사내 자료·고객 정보·소스 코드 등의 기밀 정보에는 이용하지 않도록 주의하십시오.

4. 자주 사용하는 자료는 Projects에 넣기

템플릿 (Templates), 사양서 (Specifications), 디자인 (Design) 등 자주 사용하는 파일은 Claude의 Projects에 넣어두면 편리합니다.

Projects에 넣어두면 Claude가 해당 정보를 재사용하기 쉬워져, 매번 같은 첨부 파일을 설명하거나 다시 붙여넣을 필요가 없어집니다.

또한 새로운 채팅을 시작하더라도 필요한 컨텍스트를 유지하기 쉬워집니다.

5. 작업을 태스크 (Task) 단위로 분할하기

하나의 세션에서 모든 작업을 수행하는 것은 권장하지 않습니다.

예를 들어, 다음과 같은 일련의 작업을 하나의 긴 세션에서 계속 이어가는 대신,

버그 조사 → 코드 확인 → 수정 → 테스트 작성 → PR 작성 → 리뷰 → 추가 수정

다음과 같이 목적에 따라 세션을 나눕니다.

Session 1: 버그 원인 조사

Session 2: 수정 구현

Session 3: 테스트 작성

Session 4: PR description 작성

Session 5: merge 전 리스크 리뷰

이는 사람끼리 작업할 때의 진행 방식과도 유사합니다.

예를 들어, 코드를 작성한 후 자신의 머릿속에 있는 모든 컨텍스트(Context)만으로 리뷰를 완결 짓는 경우는 드뭅니다. 보통은 PR 문구, 차이점(Diff), 관련 티켓, 확인 관점 등 리뷰에 필요한 정보를 정리한 후 다른 멤버에게 리뷰를 요청합니다.

Claude를 사용할 때도 마찬가지입니다. 하나의 긴 세션에 모든 작업 이력을 계속 남겨두는 것이 아니라, "지금 수행하기를 원하는 작업"에 필요한 컨텍스트(Context)만 전달하는 것이 답변의 정확도를 높이는 데 유리합니다.

각 세션에는 해당 목적에 필요한 컨텍스트(Context)만 포함하도록 합니다.

컨텍스트 부패(Context Rot)의 징후가 느껴진다면, 현재 세션을 적극적으로 비우고(clear) 새로운 세션에서 작업을 재개하는 것이 중요합니다.

요약

Claude에서는 세션이 길어질수록 과거의 컨텍스트(Context)를 다시 읽어야 하는 양이 늘어나며, 토큰 사용량도 커집니다.

또한, 불필요한 정보가 늘어나면 컨텍스트 부패(Context Rot)로 인해 답변 정확도도 떨어지기 쉽습니다.

중요한 것은 필요한 정보만 정리해서 전달하고, 길어진 세션은 조기에 리셋하는 것입니다.

이것만으로도 토큰 낭비를 줄이고 Claude를 더욱 효율적으로 사용할 수 있습니다.

Discussion