AI Gateway에서 사용할 수 있게 되었습니다.Jev from TypeSafe AI

Jev는 소프트웨어를 위한 확률적 의사결정 모델입니다: 상태(state)가 입력되면, 타입이 지정된 선택지(Choice), 점수(Score), 그리고 부울(Boolean) 답변이 출력됩니다.

일반 언어 모델(Language Model)은 토큰을 하나씩 생성하며, 애플리케이션이 이를 파싱하고 검증합니다. 반면 Jev는 선언된 모든 질문을 병렬로 평가하고 타입이 지정된 답변과 확률을 직접 반환합니다. 이는 불필요한 텍스트 생성을 제거하여 명확한 케이스를 자동화하기 쉽고, 불확실한 케이스는 검토(review)로 라우팅하는 것을 간편하게 만듭니다.

TypeSafe에 따르면 Jev는 워크플로우 평가에서 LLM보다 최대 193.6배 빠르고 444.6배 저렴했습니다. 사용 사례의 예시로는 다음이 있습니다:

AI SDK 7은 실험적인 방식으로 Jev를 노출합니다. Choice는 옵션을 선택하고, Score는 순서가 지정된 루브릭(rubric)에 점수를 매기며, Boolean은 확률을 추정합니다. 최신 AI SDK를 설치하세요 (AI SDK 7.0.105 이상에서 API 지원): evaluate``true``evaluateAPI

각 평가는 다음을 지정합니다:

모델에 . Call the model with . 이 예시는 하나의 지원 케이스를 큐(queue), 우선순위, 환불 검토 결정으로 변환하며, 불확실한 라우팅은 수동 검토로 전송됩니다:typesafe-ai/jev`

결과는 질문 ID와 Choice 키를 유지합니다. TypeSafe는 . separate Choice and Score confidence in . 워크플로우의 레이블링된 예제에 대해 확률과 신뢰도를 보정하세요.result.providerMetadata.typesafe.confidence`

Jev는 [IMG:N]에서 지원하며, 예제에서 요청별로 활성화할 수 있습니다. 평가 호출 또한 [IMG:N]에 나타나며, [IMG:N]를 계산하고 같은 객체 내에서 다른 Gateway 제공자 옵션도 허용합니다.Zero Data RetentionNo Training로그맞춤 보고서예산providerOptions.gateway`

AI Gateway에서 [IMG:N]에 대한 자세한 내용은 문서를 참조하세요.evaluation models

더 읽기

• 에이전트 루프에서 다음 도구나 서브 에이전트를 선택하는 경우

• 계속할지, 재시도할지, 사용자에게 요청할지, 또는 중단할지 결정하는 경우

• 조치 전에 긴급성이나 위험도를 점수화하는 경우

• 모델 출력을 검증하고 가드레일을 적용하는 경우.

• 호출할 평가 모델: model

• 평가할 공유 문자열, 객체 또는 배열, 그리고: state

• 해당 상태에 대해 내릴 이름 지정된 결정들의 맵: questions