판단 특화 모델 비교: Decisions API, Jev, Clef

서론

판단 특화 모델을 선택하는 참고 자료로, Decisions API[1], Jev[2], Clef[3]의 사양과 요금을 비교하고 Decisions API와 Jev를 실제로 사용해 보았습니다.

이번 검증에서는 두 API 모두 정확도에 차이가 발견되지 않았습니다. 비용은 Jev가 더 저렴했고, 응답 속도는 대체로 Jev가 더 빨랐으나, 시간이 오래 걸린 몇몇 건에서는 Decisions API보다 느렸습니다.

사양과 요금

이번 측정에서는 Decisions API에 gpt-6-luna를 지정하고, Jev는 TypeSafe AI의 API에서 호출했습니다. Clef와 Clef-flash는 Cloudflare Workers AI에서 제공됩니다. Clef는 27B[3:1], Clef-flash는 9B[4] 모델입니다.

실제로 사용해 보기

문의 분류 대상은 '청구', '불량', '도입 상담', '기타'의 4가지로 설정했습니다.

예를 들어, '청구서를 재발행해 주세요'라는 요청은 '청구'로 분류할 수 있습니다. 또한 '관리 화면이 열리지 않아요'라는 보고는 '불량'일 것입니다. 애매한 경우는 '청구서를 다운로드하려고 하니 화면이 멈춥니다'라는 문의입니다. 청구와 관련된 작업이지만, 불량으로 처리하는 것도 고려할 수 있습니다.

이러한 케이스에서 평가가 흔들리지 않도록, 정답 라벨과 분류 기준을 실행 전에 결정합니다. 동일한 문의 문구와 선택지를 전달하고, 판정 결과도 공통된 형식으로 변환하는 방침입니다.

정확도는 정답 라벨과의 일치 횟수로 비교합니다. 응답 시간은 같은 환경에서 호출하여 중앙값과 p95를 기록하며, 비용은 입력 토큰 수 × 공표 단가로 1,000건당 금액으로 환산합니다.

가상의 문의 30건을 Decisions API와 Jev로 분류했습니다.

시도 결과

Decisions API와 Jev를 각각 30회, 총 60회를 실행했습니다. 둘 다 30건 모두 사전에 결정된 라벨과 일치했습니다.

응답 시간 중앙값은 Jev가 181.5ms, Decisions API가 236.2ms였습니다. 반면, p95는 Decisions API가 548.4ms, Jev가 601.8ms로, 중앙값과는 순서가 역전되었습니다.

판단 결과 예시

| 문의 | 정답 라벨 | Decisions API | Jev |
|---|---|---|
| 청구서를 다운로드하려고 하니 화면이 멈춥니다. | 불량 | 불량 | 불량 |
| 불량이 발생했을 때 연락처만 알려주세요. 현재는 정상적으로 사용하고 있습니다. | 기타 | 기타 | 기타 |

이번 30건에서는 두 API 모두 판정 결과가 갈린 경우는 없었습니다.

Jev는 입력 토큰 수가 많았음에도 불구하고, 공표 단가로 환산한 비용은 낮았습니다. 표의 비용은 API가 반환한 입력 토큰 수에서 계산되었습니다.

활용 방안 비교

텍스트 분류의 입력 단가를 비교하면 Clef-flash가 가장 저렴합니다. 이미지 입력에는 Decisions API나 Clef 계열이 대응하고 있습니다. Jev도 2026년 10월 14일 발표부터 이미지 입력을 실험 기능으로 사용할 수 있게 되었습니다.

어느 경우든 API를 통해 이용할 수 있으며, 자체 환경에서 모델을 구동하는 경우에는 Clef와 Clef-flash[7]가 후보입니다.

이번 문의 30건에서는 Decisions API와 Jev의 분류 결과에 차이가 없었습니다. Jev는 응답 시간 중앙값과 환산 비용이 낮고, p95는 Decisions API 쪽이 더 짧은 결과를 보였습니다.

용도별 선택 방법

결론

응답 속도 면에서는 생각만큼 차이가 나지 않아 의외였습니다. 짧은 문의 분류에서는 예상했던 것만큼 속도 차이가 나지 않을 수도 있는 것 같습니다.

최신 정보

기사 작성 중에 Jev의 이미지 입력 기능이 실험 기능으로 공개되었습니다. 이번에 시도한 것은 텍스트 분류입니다.

공개 요금과 실제 비용은 다를 수 있습니다 ↩︎

정답 라벨과 분류 규칙은 실행 전에 고정하고, 각 API를 한 건씩 실행했습니다. 문의 순서는 고정된 난수로 바꿔가며, API도 번갈아 호출했습니다. ↩︎

각 모델 가중치는 Hugging Face에서 Apache 2.0 라이선스 하에 공개되어 있습니다 ↩︎

토론