Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 글은 Claude Code와 같은 고급 AI 코딩 에이전트들의 토큰 소비 패턴과 비용 구조를 비판합니다. 지속적으로 전체 대화 기록을 전송하는 방식의 비효율성을 지적하며, 개발자는 단일 모델에 의존하기보다 Codex 등 여러 최상위 모델을 조합하여 검토하는 것이 효과적이라고 주장합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 GeekNews의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기Claude 선호자는 최신 상황을 모르거나 다른 도구를 시험하기 귀찮아하는 초기 사용자, 아니면 백만장자나 예산이 무제한인 개발자처럼 보임. HN에서 “왜 Opus를 xhigh로 쓰지 않고 다른 걸 쓰느냐”고 묻는 경우도 많음.
나는 구독 없이 월 150달러 예산만 받았는데, 처음에는 답답했지만 도구와 문맥 관리를 개선하고 특히 OpenAI 모델을 활용하니 이제는 수월함. 작은 팀에서 많은 일을 해내면서도 대개 예산의 70%조차 쓰지 않음. 제한된 예산에서 배우는 게 많음.
Claude Code의 불필요한 토큰 소비는 이미 여러 번 접한 소식임. 모델 제공업체가 자체 실행 도구인 하네스를 배포하는 동기를 의심해 볼 때가 됨.
비밀도 아니고, 답은 이윤임. 이 업체가 속한 지역에서는 탐욕을 좋은 것으로 여기기도 함.
정말로 대화 기록 전체를 보내 요약을 요청하는 방식이라면, 거의 모든 토큰이 캐시 적중으로 처리돼 상당히 저렴하지 않을까?
무례하게 들리고 싶지는 않지만, 캐시에 적중해도 매번 전체 문맥에 대해 입력 비용의 약 10% 를 반복해서 지불하는 셈임. 열 번이면 전체 세션을 처음부터 프리필하는 비용과 같아짐. HN에는 부자가 너무 많거나, 엄청난 부자가 너무 많은 듯함.
저렴한 작업도 충분히 반복하면 큰 비용으로 쌓임. 본문에서도 캐시를 다루고 있음. 봇이 쓴 티가 상당히 나는 글이긴 하지만, 그 수치와 결론에 동의하지 않는 건가?
올해 초에 캐시 TTL을 5분으로 바꾸지 않았나? 정확한 실행 시점에 따라 갱신 사이에 캐시가 만료될 수도 있음.
앞에 “이 내용을 요약해 줘” 같은 문구를 붙인다면 그렇지 않을 수 있음.
hn.algolia로 검색해 보니, 이 사용량 문제가 이전에 다뤄지지 않았다는 게 의외였음. Pro를 쓰는데 이틀 전에는 5시간 한도를 전부 쓰면 주간 한도의 25%가 소진됐고, 오늘은 약 13%라서 뭔가 수정된 듯함.
내 20x Max 계정 네 개 중 세 개에서는 여전히 발생함. 정황상 총 주간 할당량을 제대로 받지 못하는 것으로 보임. IPO를 앞두고 사기 수위를 높이는 셈임.
캐시 만료 직전에 문맥을 적극적으로 압축해서 토큰을 크게 절약함. 문맥을 25% 이하만 쓴 시점에 다음 세션으로 인계하는 것과 비슷한 효과임.
이건 A/B 테스트임.
Opus 5.5는 토큰을 물 쓰듯 쓰는데, GPT 6.1 Sol의 Extra High는 무제한처럼 느껴짐. Max 20x의 Opus는 하루, 길어야 이틀 만에 주간 한도를 소진함. 반면 같은 코드베이스와 스킬로 Codex에서 작업하고 월 50달러짜리 Muse Code Wonder Full로 검토하면 끝없이 쓸 수 있을 것 같음.
과도하게 칭송받는 Opus와 Claude Code 전반에 크게 실망함. Codex, Muse Code, GitHub Pilot이 심각한 결함을 찾지 않는 커밋이 없을 정도임. Claude Code로 긴 세션을 진행하며 Codex 검토를 100회 넘게 반복해도 타당한 지적을 모두 해결하지 못함. 문장과 식별자에 영국식 영어를 계속 끼워 넣는 것도 막을 수 없음.
Claude Code는 한도 초기화도 거의 없어서, 차라리 Codex를 주력으로 쓰고 Claude Code를 검토자로 쓰게 됨. 실제로 반대 조합보다 훨씬 잘 작동함. 어쨌든 모델 하나만 믿지 말고 다른 최상위 모델로 반드시 검토해야 함.
검토 100회면 불필요한 수정을 반복하는 것처럼 들림. 대부분의 모델은 계속 검토시키면 끝없이 “개선할” 부분을 찾아낼 수 있음.
이건 하네스가 맡아야 할 일임. 추론 제공업체가 하네스까지 소유하면 이해관계가 맞지 않음.
이건 사기임. 고객에게 판매하는 자원을 낭비하는 데몬을 고객 몰래 실행하는 셈임.
적어도 캐시를 무작위로 무효화해 턴당 약 8달러씩 공짜 매출을 올리던 기능인지 버그인지는 고친 듯함.
이건 의도된 설계임. Openrouter의 추론 제공업체들이 매우 저렴한 가격을 내세우면서 캐시 TTL은 2분, 적중률은 70%로 제공하는 것과 같은 이유임. 결국 모든 것을 좌우하는 건 캐시임.