Haiku 5.5는 90% 저렴할까? 10만 토큰의 벽에서 달라지는 손익

🐹🦜 이 글에 등장하는 두 캐릭터

• 🐹
  못찌(もっちー) (햄스터)… AI는 아직 공부 중. “그게 무슨 뜻이야?”라고 순수하게 질문하는 학생 역할 - 🦜
  키나코 (사랑앵무) … AI로 조사하는 해설 역할. 상냥하게 깊이 파고들어 가르치는 선생님 역할

이 글은 두 캐릭터의 대화를 받아 적은 형식입니다. 발언 맨 앞에 있는 이모티콘 + 이름이 화자입니다.

🐹 못찌: “키나코! 새로운 Haiku 5.5가 90% 할인이라니?! 간식 무제한으로 사 먹을 수 있잖아!”

🦜 키나코: “잠깐. 그 90%는 AI에게 보내는 프롬프트가 10만 토큰 이하인 리퀘스트에 대한 이야기야.”

🦜 키나코: “10만 토큰을 넘으면 50% 할인이야. 리퀘스트의 약 9할이 10만 토큰 이하라는 전제 하의 평균이라면, 약 75% 저렴해지는 계산인 거야.”

🐹 못찌: “에? 그렇게 많이 달라져? 내 사용 방식은 어느 쪽일까?”

🦜 키나코: “미국 시간으로 10월 7일에 나온 Haiku 5.5는, 10만 토큰 이하의 리퀘스트가 많은 사용 방식일수록, 90% 할인에 가까워져.”

🦜 키나코: “게다가 사실은 같은 문장이라도 토큰 계산 방식이 달라졌어.”

🐹 못찌: “계산 방식이 바뀐다고!? 그거 반칙 아니야!”

🦜 키나코: “어떤 작업에서는 이득을 보고, 어디서 손해를 볼지. 같이 살펴볼게.”

🐹 못찌: “근데 조건부 할인이라니, 뭔가 복잡하네. 결국 나는 이득이야, 손해야?”

🦜 키나코: “단가만 보면 어느 요금 구간에서든 Haiku 4.5보다 저렴해. 차이가 생기는 건 얼마나 저렴해지느냐 하는 거야.”

🦜 키나코: “우선, 이전의 Haiku 4.5는 100만 토큰당 입력 $1, 출력 $5였어.”

🐹 못찌: “$1이라도 나 간식값으로는 큰돈인데……”

🦜 키나코: “Haiku 5.5는 프롬프트가 10만 토큰 이하일 경우, 입력 $0.1, 출력 $0.5야. 이걸로 90% 감소한 거야.”

🐹 못찌: “토큰이라는 게 글자 수 같은 거야?”

🦜 키나코: “글자 수와는 조금 달라. AI가 문장을 나누어 세는 단위야. 프롬프트는 AI에게 보내는 질문이나 자료를 말해.”

🦜 키나코: “그리고, 프롬프트가 10만 토큰을 초과하는 리퀘스트는 입력도 출력도 높은 요금 구간이 돼.”

🐹 못찌: “에? 출력 쪽까지 비싸진다고?”

🦜 키나코: “입력 $0.5, 출력 $2.5야. Haiku 4.5와 비교하면, 50% 감소에 그치거든.”

🐹 못찌: “간식 봉지가 작으면 9할 할인이고, 큰 봉지면 반값이라는 거네?”

🦜 키나코: “좋은 비유야. 그 봉지의 크기가 한 번의 리퀘스트로 보내는 프롬프트의 길이인 거야.”

🐹 못찌: “그럼 평균 75%라는 건 어디서 나온 거야?”

🦜 키나코: “Haiku 4.5로 전송된 리퀘스트의 약 9할이 10만 토큰 이하였다는 전제 하에 계산한 숫자야.”

🦜 키나코: “게다가 그 계산에는, 새로운 계산 방식으로 토큰이 늘어난 부분도 제대로 포함되어 있어.”

🐹 못찌: “계산 방식의 변화까지 포함해서 평균 75%구나.”

🦜 키나코: “그러니까, 긴 자료를 매번 통째로 보내는 사용 방식이라면, 높은 요금 구간에 들어가기 쉬워. 거기는 조심해야 해.”

🦜 키나코: “다만, 평균에는 들어 있어도, 자신의 견적에는 포함되어 있지 않을 수도 있어. 같은 문장이라도 계산되는 토큰이 늘어나거든.”

🐹 못찌: “잠깐, 같은 문장인데 토큰이 늘어난다는 건 무슨 뜻이야?”

🦜 키나코: “Haiku 5.5는 Claude 4.7부터 사용되고 있는 새로운 계산 방식을 채택하고 있어.”

🦜 키나코: “그 때문에, 같은 문장이 Haiku 4.5보다 약 30% 많은 토큰으로 계산될 수 있거든.”

🐹 못찌: “자(ruler) 눈금이 더 세밀해져서, 같은 길이여도 숫자가 크게 나오는 느낌?”

🦜 키나코: “응, 그 이미지. 늘어나는 방식은 문장의 내용에 따라 달라진다고 공식 마이그레이션 가이드에도 쓰여 있어.”

🐹 못찌: “단가는 떨어졌는데, 계산되는 양은 늘어나다니!”

🦜 키나코: “계산상으로는, Haiku 4.5에서 10만 토큰 바로 직전이었던 프롬프트가, 5.5에서는 10만을 초과할 수도 있어.”

🐹 못찌: “에? 모르는 사이에 반값 쪽의 큰 봉지가 되어버린다는 거야?”

🦜 키나코: “그래서 공식은, Haiku 4.5로 측정한 수를 재사용하지 말고, Haiku 5.5로 다시 측정하라고 말하는 거야. 견적도 다시 만들어야 해.”

🐹 못찌: “다시 계산해야 한다니. 또 뭔가 있어?”

🦜 키나코: “있어. Haiku 5.5는 생각하는 기능이 처음부터 켜져 있어.”

🦜 키나코: “생각한 분량도 출력 상한 최대 토큰(max_tokens)에 계산될 수 있거든.

🦜 키나코: “상한을 너무 작게 잡으면, 답을 쓰기 전에 멈춰버리는 경우도 있거든.”

🐹 못치: “너무 많이 생각해서, 답변하기 전에 시간 초과가 된다는 거야? 그럼 상한은 크게 설정해 둬야겠네.”

🦜 키나코: “그럼 거기까지 신경 써서, 어떤 일을 맡기면 좋을지. 사실 공식에서는 위에 있는 모델에 남겨두는 게 좋은 일들까지 적어놨어.”

🐹 못치: “근데 지금까지 중에서 가장 저렴하고 빠르고 똑똑한 소형 모델 아니야? 그럼 전부 Haiku로 해도 되잖아!”

🦜 키나코: “마음은 이해해. Anthropic 자체가 그렇게 소개하는 거니까.”

🦜 키나코: “공식에서 언급하는 잘하는 일들에는 요약, 분류, 라우팅(분류 및 분배), 정보 추출 같은 게 있어.”

🦜 키나코: “그리고 위에 있는 모델을 기반으로 작동하는 서브 에이전트라는 역할도 그래.”

🐹 못치: “서브 에이전트?”

🦜 키나코: “큰 일을 받은 AI가, 세부적인 사전 조사를 다른 AI에게 부탁하는 거야. 그 부탁받는 역할을 말해.”

🐹 못치: “사장님이 부하 직원한테 해바라기 씨앗 개수를 세어 오라고 시키는 거 같은 느낌이네.”

🦜 키나코: “응. 그런데 공식에서는 복잡한 에이전트형 코딩이라면, Sonnet 5.5나 Opus 5.5가 좋은 선택이라고 적고 있어.”

🐹 못치: “엣, 만든 회사가 스스로 거기까지는 위에 있는 모델이 더 좋다고 말하고 있는 거야?”

🦜 키나코: “그래. 미리 알려둘게. 여기서 나오는 수치는 Anthropic이 직접 측정한 것이라, 외부 검증은 현재 확인되지 않았어.”

🦜 키나코: “에이전트형 코딩을 측정하는 테스트에서, Haiku 5.5는 39.2%, Sonnet 5.5는 70.6%라고 발표되었어.”

🐹 못치: “사전 조사는 부하 직원에게 맡기고, 복잡한 일은 사장님이 하는 거네.”

🦜 키나코: “응. Anthropic의 발표에서는 Cognition이 Opus 5.5를 주력으로 하고, Haiku 5.5를 파트너로 한 조합을 소개하고 있어.”

🦜 키나코: “요약이나 분류는 Haiku가 좋고, 복잡한 에이전트형 코딩은 위에 있는 모델이 좋은 선택이라는 게 공식의 설명이야.”

🦜 키나코: “맡길 일이 정해졌다면, 다음은 마이그레이션(이전) 문제야. 그런데 지금까지 사용하던 방식이 오류로 돌아오는 경우가 있어.”

🐹 못치: “오류라는 건, 내 앱이 멈춰버린다는 거야?”

🦜 키나코: “Haiku 4.5에서 쓰던 방식 중에, 400 에러가 반환되는 게 있어. 그 보내는 방식은 받아들여질 수 없다는 대답이야.”

🦜 키나코: “대표적인 것이 세 가지야. 첫 번째는 생각할 양을 토큰 수로 지정하는 버짓드 토큰즈(budgeted tokens)라는 방식이야.”

🦜 키나코: “대신, 생각할 양은 에포트(effort)로 선택해. Haiku에서 선택 가능한 건 이번이 처음이고, 초기 설정은 미디엄이야.”

🐹 못치: “생각하는 시간을 정확히 정하는 게 아니라, 적당한 정도인지 아닌지를 고르는 거네?”

🦜 키나코: “두 번째는 템퍼러처(temperature), 탑 P(top_p), 탑 K(top_k)라는 답변의 분산도를 조정하는 설정이야.”

🦜 키나코: “기본값이 아닌 값을 넣으면 오류가 나. 빼고, 어떻게 답했으면 좋겠는지는 프롬프트로 전달해야 해.”

🐹 못치: “지금까지 세세하게 조절하던 사람일수록 걸리는 거잖아!”

🦜 키나코: “세 번째는 어시스턴트 프리필(assistant prefill). 대화의 마지막을 AI 발언의 시작 부분으로 끝내는 방식이야.”

🐹 못치: “글쓰기 시작 문구만 미리 써놓고, 나머지를 쓰게 하는 거?”

🦜 키나코: “응. Haiku 5.5에서는 생각하는 기능을 꺼도 오류가 나. 마지막은 사용자 측 발언으로 끝내야 해.”

🦜 키나코: “출력 형태를 통일하고 싶었다면, 정해진 형태로 답하게 하는 구조화 출력(structured output)이라는 시스템으로 대체해야 해.”

🦜 키나코: “다른 세부 변경 사항도 있으니까, 공식 마이그레이션 가이드에서 확인해 봐.”

🐹 못치: “왜 지금까지 쓰던 게 갑자기 안 되는 거야? 내 머리는 이미 꽉 찼는데…….”

🦜 키나코: “이유까지는 여기서 다루지 않을게. 중요한 건, 어떻게 고쳐야 하는지가 공식 마이그레이션 가이드에 나열되어 있다는 거야.”

🦜 키나코: “괜찮아. 이걸 모아서 고칠 방법은 Claude Code에 있어. 다만, 그래도 사람이 결정해야 할 것이 하나 남아있어.”

🐹 못치: “그럼 그 걸 쓰면 마이그레이션은 전부 끝나는 거야?”

🦜 키나코: “Anthropic의 프로그래밍용 AI인 Claude Code에게, 크로드 API(Claude API) 기능으로 Haiku 5.5로 마이그레이트 해달라고 요청하는 거야.”

🦜 키나코: “모델명 대체에 더해, 필요하다면 아까 그 방식 수정이나 에포트 조정까지 한 번에 처리해 줄 수 있어.

🦜 키나코: 마지막으로, 사람이 직접 확인해야 할 항목 체크리스트도 만들어 주는 거야. 수정할 범위도 미리 확인해 준다고.

🐹 밋치: 그럼, 사람이 결정해야 하는 건 뭐가 남는 거야?

🦜 키나코: 어떤 일을 Haiku에 맡길지 말이야. 도구가 고치는 건 작성 방식이고, 맡길 일을 고르는 건 사람인 거지.

🐹 밋치: 전부 Haiku로 해버리면, 아까의 복잡한 코딩까지도 부하에게 넘겨버리게 되네.

🦜 키나코: 맞아. 게다가 그 분류 작업은 코드 한 줄도 쓰지 않고 오늘 안에 종이 한 장으로 할 수 있어.

🦜 키나코: 오늘의 요약이야. Haiku 4.5와 비교한 90% 감소는 프롬프트가 10만 토큰 이하인 리퀘스트에 대한 이야기야.

🐹 밋치: 같은 문장이라도 토큰이 늘어나면 다시 계산하고, 복잡한 코딩은 사부님께 남겨두는 거였지?

🦜 키나코: 오늘 할 일은 딱 하나. 지금 AI에게 의존하는 일을 3가지 적어보고, Haiku에 맡길 수 있을 것 같은 것에 동그라미를 쳐봐.

🐹 밋치: 적고 동그라미만 치는 거네. 해바라기 씨앗 세는 것보다 쉽잖아!

🦜 키나코: 맡길 일이 정해지면, 작성 방식 수정은 아까의 마이그레이트에 도움을 받을 수 있어.

🐹 밋치: 이 분류 그림, 나중에 다시 보고 싶으니까 저장해 둘게!

🐹 밋치: 그러고 보니 주인님, 저녁 식사 메뉴만 물어봐도 가장 비싼 모델 쓰려고 할 것 같아.

🦜 키나코: 후후, 그건 말하지 말아줘. 그래도 좀 있을 법한 이야기야.

🦜 키나코: 여러분은 Haiku에게 어떤 일을 맡겨보고 싶어? 댓글로 알려줘.

🦜 키나코: 상위 모델을 주역으로, Haiku를 조력자로 조합했을 때 어느 정도까지 작동할 수 있는지. 그 부분도 언젠가 깊이 파고들고 싶네.

🐹 밋치: 기대된다! 그럼 오늘은 이만!

키나코밋치 테크 심층 분석에서는 AI/LLM을 중심으로 한 기술 전반을 햄스터(🐹 밋치)와 세키개비앵무새(🦜 키나코)의 대화로 재미있게 설명하고 있습니다.

▶️ 영상으로 보기 → Haiku 5.5는 90% 저렴할까? 10만 토큰 벽에서 바뀌는 손익

👍 이 글이 도움이 되었다면 LGTM/저장해 주시면 힘이 됩니다!

📺 채널 구독은 여기 → 키나코밋치 테크 심층 분석

🔗 다른 해설 영상 보기 → 키나코밋치 테크 심층 분석 영상 목록