Claude Haiku 5.5는 판단 특화 모델의 대안이 될 수 있을까?

• LLM을 이용해 분류, 라우팅, 가능 여부 판정 등 '판단' 기능을 구현하고 싶은 사람
• Jev나 Strands Decider 2B와 같은 판단 특화 모델과 범용 LLM 중 어느 것을 사용할지 고민하는 사람
• LLM의 판단 과정을 워크플로우에 통합하고 싶은 사람

2026년 10월 7일에 출시된 Claude Haiku 5.5는 입력 $0.10, 출력 $0.50(백만 토큰당)으로 Haiku 4.5 대비 가격이 1/10로 낮아졌습니다!

가격이 1/10가 되는 것은 프롬프트 길이가 10만 토큰 이하일 때만 해당되며, 그 이상일 경우 할인은 50%에 머무릅니다.

싸지니 무언가에 사용해보고 싶어집니다. 이 가격이라면 판단 역할에도 쓸 수 있지 않을까?라는 생각으로 Haiku 5.5를 판정 모델(judge model)로 테스트해 보았습니다.

문장 생성을 하지 않고 '무엇을 선택할지'만 답변하게 하는 모델입니다. Jev를 시작으로 최근에는 다양한 벤더에서 판정 모델이 나오고 있습니다.

Jev나 Strands Decider 2B와 같은 판단 특화 모델과 특징을 비교해 보면 다음과 같습니다.

| 관점 | Haiku 5.5 | Jev | Strands Decider 2B |
|---|---|---|
| 제공 형태 | API (Claude API / Bedrock 등) | 외부 API | 오픈 웨이트 |
| ... |
빠른 속도만 놓고 보면 전용 모델이 유리하며, Strands Decider 2B는 로컬 GPU나 Mac에서 구동할 경우 한 번에 115~153ms 정도이며 모델 비용도 들지 않습니다. 이 판단 특화 모델들에 Haiku 5.5가 대적할 수 있을까요?

빠르고 흔들림 없이 숫자만 반환하게 하는 요령은 다음과 같습니다.

max_tokens: 1로 설정:
실측값 기준으로는 max_tokens: 2가 적합합니다.

더 빠르며 - 선택지를 숫자로 지정할 경우:
0부터 999까지는 1 토큰에 포함되므로 최대 1,000개까지 처리 가능합니다.

• 추론 모드는 비활성화:
  사고(thinking) 토큰도 max_tokens에 포함되므로, 생각하기 시작하면 숫자가 반환되지 않을 수 있습니다.
• 고정 부분이 512 토큰을 초과할 경우 프롬프트 캐시 사용
• Structured Outputs는 피하기: 실측값 기준 1초를 넘었기 때문에 숫자와 max_tokens: 1로 프롬프트에서 제한하는 방식이 좋습니다.

숫자를 반복하게 하여 확인해 보니, 999까지는 max_tokens: 1로 통째로 반환되었고, 1000부터는 첫 번째 숫자만 잘렸습니다.

이번 검증에서는 다음과 같은 형태로 작성했습니다.

(system)
당신은 문의 분류기입니다. 사용자의 문의를 읽고 다음 번호 중 가장 적절한 것을 하나만 답변해 주세요. 번호 외의 내용은 일절 출력하지 마세요.
0: 환불
...

• 지시문과 선택지는 system에, 판단시키고 싶은 문장만 user에 넣습니다.
• 선택지는 '번호: 분류명' 형식으로 나열합니다.
• 유사한 선택지를 나란히 배치하지 않습니다 (유사하면 옆의 것을 고르기 쉽습니다).
• 헷갈리는 부분이 있다면 짧은 보충 설명을 추가합니다 (예:

비트 연산 방식은 3개 선택 시 급격히 정확도가 떨어졌습니다. 쉼표 구분 방식은 판단 시간이 약 500ms에서 약 745ms로 늘어나지만 확실했습니다.

쉼표 방식은 1 토큰에 다 담기지 않아 약간 느립니다.

검증 1의 문제를 Haiku 4.5와 5.5, Jev로 비교해 보았습니다.

차이가 난 부분은 속도와 비용이었습니다. Haiku 4.5와 5.5는 초기 속도가 변한 것이 아니라 오히려 조금 느려졌습니다. 하지만 비용은 1/10로 줄었기 때문에 이 점만으로도 haiku5.5를 선택할 가치가 있습니다. 속도를 원한다면 트렌디한 Jev가 한발 앞섭니다.

속도 면에서는 판단 특화 모델이 있지만 범용 LLM만의 강점은 없는지 찾아보았습니다. Jev의 선택(Choice)는 선택지가 최대 255개까지이기 때문에, 선택지를 300개까지 늘렸을 때 정답률이 어떻게 변하는지 시험해 보고 있습니다. 선택지는 종합 문의 창구를 상정한 서로 혼동되지 않는 분류명입니다.

당신은 종합 문의 창구의 문의 분류기입니다. 사용자의 문의를 읽고, 다음 300개의 분류(번호: 분류명) 중 가장 적절한 것을 하나만 답해 주세요. 번호 외에는 일절 출력하지 마세요.
0: 〇〇
1: 〇〇
...

답이 하나로 결정되는 간단한 질문 40개를 선택지 개수를 바꿔가며 3번씩 물어보았습니다.

max_tokens: 1

만으로도 190나 249 같은 세 자리 번호는 1 토큰으로 빠짐없이 돌아왔습니다.

선택지가 많아질수록 번호 대신