화제 AI 'Jev'는 무엇에 사용할 수 있을까? 실용적인 사용 사례를 구상해봤다

서론

2026년 9월 15일, TypeSafe AI에서 'Jev'라는 AI 모델이 공개되었습니다.

Jev는 ChatGPT나 Claude처럼 문장을 생성하는 것이 아니라, 분류나 평가 같은 '판단'에 특화되어 있다는 점이 특징입니다.

Jev의 개요나 성능에 대해서는 이미 다양한 기사가 공개되었기 때문에, 이번에는 **'Jev를 실제 시스템에서 어떻게 사용하면 편리할까?'**라는 점에 초점을 맞춰 생각해 보겠습니다.

공식 문서에서 소개된 설계 패턴과 공개된 실제 도입 사례를 참고하여 정리했습니다.

원고 작성에 대하여

※ 본 기사는 인간이 조사한 내용을 바탕으로 AI가 원고를 생성한 후, humanizer를 통해 가공하고, 마지막으로 사람이 육안 검사를 진행했습니다.

결론

결론부터 말하자면, Jev는 ChatGPT나 Claude를 대체하기보다는, 기존 프로그램이나 LLM 사이에 '판단 전용 AI'로組み込む 것이 흥미롭습니다.

예를 들어, 다음과 같은 사용법이 있습니다.

• 사용자 문의를 분류하여 적절한 처리로 분배
• 판단의 확신도가 낮은 경우에만 사람에게 확인 요청
• 여러 판단을 한 번에 실행하여 API 왕복 횟수를 줄임
• 복잡한 평가를 작은 판단으로 분해하고, 최종 계산은 코드로 진행
• AI Agent 내부에서 반복적으로 발생하는 작은 판단을 위임
• LLM의 입출력에 대한 추가 검사 처리로 활용

이 모든 것은 Jev가 제공하는 기능이나 공식 설계 패턴에 기반한 용도이지만, 실제로 유효한지는 대상 시스템별 검증이 필요합니다.

이번에는 이러한 사용법을 중심으로 소개하겠습니다.

Jev란?

Jev는 TypeSafe AI가 공개한 'System One Model'이라는 모델입니다.

일반적인 LLM과는 달리, 자유로운 문장 생성 대신 사전에 정의된 형식으로 판단 결과를 반환합니다.

Jev가 제공하는 판단은 주로 3가지 종류입니다.

또한, 한 번의 요청에 여러 질문을 포함할 수 있어, 동일한 입력 데이터에 대해 분류, 중요도, 긴급성 등을 한 번에 판단시킬 수 있습니다.

Jev의 특징

TypeSafe가 2026년 9월 15일에 발표했을 때, Jev에 대해 다음과 같은 성능이 공개되었습니다.

그럼 실제 사용법을 생각해 보겠습니다.

1. LLM 호출 전 라우터로 사용하기

처음에 소개할 것은 Jev를 처리 분배 역할로 사용하는 방법입니다.

TypeSafe에서는 'Intent Routing'이라는 설계 패턴이 공식적으로 소개되었습니다.

예를 들어, 고객 지원 시스템을 생각해 보겠습니다.

사용자 문의에는 주문 상황 확인, 상품 질문, 반품/교환, 불만 등 다양한 종류가 있습니다.

전통적인 방식으로는 모든 문의를 LLM에 전달하여 분류하는 방법도 있지만, Jev에서는 분류만 담당하게 할 수 있습니다.

사용자로부터의 문의
|
v
...

예를 들어,

• 주문 상황 확인이라면, 일반 프로그램으로 데이터베이스를 참조합니다.
• 상품에 관한 질문이라면, 상품 정보를 다루는 LLM에 전달합니다.
• 반품/교환이라면, 전용 처리로 보냅니다.
• 복잡한 불만이라면, 사람에게 인계합니다.

이때 Jev가 담당하는 것은 오직 '어떤 처리에 보내야 하는지'라는 판단만입니다.

실제 문의 대응은 일반 코드나 LLM, 사람이 담당합니다.

이렇게 모든 처리를 LLM에 맡기는 것이 아니라, Jev를 전단에 두어 처리처를 분배할 수 있습니다.

TypeSafe의 공식 예시에서도 주문 상황 확인을 일반 코드로 처리하고, 상품 질문이나 반품 대응은 다른 전문 LLM으로 분배하며, 복잡한 불만은 사람에게 인계하는 구성이 소개되었습니다.

어떤 경우에 사용할 수 있을까?

이 메커니즘을 응용하면, 다음과 같은 구성도 생각해 볼 수 있습니다.

⚠️ [IMG:N] 형식 토큰은 이미지 placeholder 입니다. 번역하지 말고 원래 위치에 그대로 유지하세요.

TypeSafe의 공식 문서에서도 선택지가 모든 입력을 포괄하지 못하는 경우에는 other나 none of the above를 추가하는 것이 권장됩니다.

따라서 실제 운영에서는 '어떤 카테고리에도 해당하지 않음'이라는 선택지를 준비하고, 이 경우 인간의 확인 등에 회부하는 구성이 생각해 볼 수 있습니다.

특히 처리할 선택지가 어느 정도 정해져 있고, 입력 내용에 따라 분기시키고 싶은 시스템과 궁합이 좋을 것 같습니다.

2. 판단에 애매한 경우만 사람에게 인계하기

다음은 Jev의 confidence를 이용하는 방법입니다.

TypeSafe는 'Confidence-Gated Routing'이라는 설계 패턴을 공개했습니다.

Jev에서는 Choice나 Score 답변에 대해 확률 분포 기반의 confidence가 반환됩니다.

이 값을 이용하여 판단이 불확실한 경우만 사람에게 인계할 수 있습니다.

입력
|
v
...

예를 들어 문의 분류라면, confidence가 충분히 높은 것만 자동으로 분배하고 낮은 것은 담당자에게 확인받도록 하는 구성입니다.

TypeSafe의 공식 문서에서는 음성 기반 은행 업무를 예로 들며, 잔액 조회와 송금 승인처럼 작업 리스크에 따라 다른 confidence 임계값을 설정하는 구성을 소개했습니다.

confidence만으로 자동 처리를 결정해도 될까?

여기는 주의가 필요합니다.

Jev의 confidence는 판단의 정답률 그 자체가 아니라, 답변 후보에 대한 확률 분포에서 산출되는 지표입니다.

따라서 confidence가 높더라도 판단을 잘못할 가능성은 있습니다.

또한 공식 문서에서도 적절한 임계값은 용도나 오판했을 경우의 리스크에 따라 달라진다고 설명하고 있습니다.

실제 시스템에서는 예를 들어 다음과 같이 생각해야 합니다.

• 오분류해도 쉽게 다시 할 수 있는 처리는 어느 정도 자동화하기
• 중요한 데이터 변경을 수반하는 처리는 추가 확인 요청하기
• 외부 전송이나 삭제 등 고위험 작업은 AI의 판단만으로 실행하지 않기

이처럼, 판단 결과와 처리 리스크를 결합하는 것이 중요하다고 생각합니다.

3. 여러 판단을 한 번에 실행하기

Jev의 특징 중 하나는 같은 입력에 대해 여러 질문을 모아서 실행할 수 있다는 점입니다.

TypeSafe에서는 이를 이용한 'Speculative Fan-Out'이라는 설계 패턴을 소개했습니다.

예를 들어 버그 보고를 받는 시스템이라면 다음과 같은 판단이 필요합니다.

• 문의 유형은 무엇인가
• 버그 보고였을 경우, 심각도는 어느 정도인가
• 재현 절차가 기재되어 있는가
• 환불 요청이 포함되어 있는가
• 이용자가 어느 정도 불만을 느끼고 있는가

이것들을 순서대로 판단할 경우에는 이전 결과를 기다렸다가 다음 질문을 보내는 처리가 됩니다.

반면, Jev에서는 같은 입력에 대한 질문을 모아서 할 수 있습니다.

문의
|
v
...

다만, 여러 질문은 동일한 State를 독립적으로 평가합니다.

예를 들어 '이것은 버그 보고인가'라는 질문의 답변이 자동으로 다른 질문의 Context로 전달되는 것은 아닙니다.

따라서 버그 보고 외에도 심각도 질문 자체는 실행되지만, 프로그램 측에서 불필요한 결과를 무시하는 구성이 됩니다.

TypeSafe의 공식 문서에 따르면, 이러한 질문들은 병렬로 평가되며, 질문을 추가해도 보통 응답 시간에 미치는 영향은 작다고 합니다.

정말 처리 시간을 단축할 수 있을까?

여러 질문을 모음으로써 API 왕복 횟수를 줄일 수는 있습니다.

하지만 실제로 시스템 전체의 처리 시간이 단축되는지는 입력 크기, 질문 수, 네트워크 환경, 후속 처리 등 여러 요인에 따라 달라집니다.

실제로 Jev를 도입한 Construct는 2026년 9월 20일에 jev-1.13.0을 측정하고 다음 결과를 보고했습니다.

이 사례에서는 질문을 모아도 응답 시간이 크게 증가하지 않았습니다.

다만, 이것은 Construct의 측정 환경에서의 결과이며, 다른 시스템에서도 같은 성능이 될 것이라고는 할 수 없습니다.

어떤 상황에서 유용한가?

예를 들어 대량의 문서를 처리하는 경우, 하나의 문서에 대해,

문서의 카테고리는? 
중요한 내용인가? 
인간의 확인이 필요한가? 
...

와 같은 판단을 종합적으로 수행하는 구성이 생각해 볼 수 있습니다.

판단이 늘어날 때마다 개별적인 API 요청을 발송할 필요 없이, 동일한 데이터에 대한 독립적인 판단을 한 번에 얻을 수 있다는 점이 편리해 보입니다.

다만, 중간의 판단 결과를 사용해서 새로운 데이터를 가져와야 하는 경우에는 처리를 분리해야 합니다.

4. 복잡한 평가를 작은 판단으로 분해하기

여러 조건으로부터 종합적인 평가를 만들고 싶을 때도 Jev를 이용할 수 있습니다.

TypeSafe는 'Composite Scoring'이라는 설계 패턴을 공개했습니다.

예를 들어, 엔지니어 지원자를 평가하는 경우입니다.

'이 후보자는 우수한가?'라고 한 번에 묻기보다는, 평가 항목을 분해합니다.

지원자의 정보
|
v
...

공식 예시에서는 Python 기술력, 팀 리더 경험, 시스템 설계 능력, Generalist로서의 능력 등을 개별적으로 Score로 평가하고, 프로그램 측에서 가중치를 두어 계산합니다.

예를 들어 Senior IC를 위한 공식 샘플에서는 각 항목을 0~1로 정규화한 후, 다음과 같은 가중치 부여가 이루어졌습니다.

final_score = (python_depth * 0.40 
+ leadership * 0.10 
...

※ 위는 공식 샘플의 계산 부분을 보기 쉽게 만든 예시입니다.

이 구성의 좋은 점은, 판단과 계산을 분리할 수 있다는 것입니다.

Jev는 평가 항목별 의미적 판단을 담당하고, 최종적인 계산은 코드로 진행합니다.

따라서 평가 결과를 조정하고 싶을 경우에는 개별 판단 결과를 확인하거나 가중치를 변경할 수 있습니다.

반면, Jev에게 한 번의 질문으로 모든 것을 평가하게 하면, 어떤 요소가 최종 판단에 영향을 미치는지 관리하기 어렵습니다.

또한, TypeSafe 자체도 Jev에게 정확한 계산을 맡기는 것을 권장하지 않습니다.

이 방법은 문서 품질 평가, 문의 우선순위 지정, 콘텐츠 분류 등 여러 관점에서 평가하고 싶을 때에도 응용할 수 있을 것 같습니다.

5. AI Agent 내부의 판단 처리에 사용하기

여기까지는 공식 문서를 통해 소개된 구성을 중심으로 설명했지만, 실제로 Jev를 AI Agent에 도입한 사례도 있습니다.

2026년 9월, Construct가 AI Agent의 Memory에 있는 Entity Matching에 Jev를 도입한 사례를 공개했습니다.

Construct의 Agent에서는 대화에서 추출한 인물이나 기업, 프로젝트 등의 정보를 Memory에 저장하고 있습니다.

예를 들어, 새로 인식된 'Dr. Priya Shah'라는 인물이 이미 저장되어 있는 'Priya Shah'와 동일 인물인지 판단할 필요가 있습니다.

이름이 완전히 일치한다고 해서 반드시 동일 인물인 것은 아닙니다.

따라서 이러한 Entity Matching에는 단순한 문자열 비교로는 판단하기 어려운 경우가 있습니다.

Construct는 이 문제에 대해 다음과 같이 역할 분담을 했습니다.

새로운 Entity
|
v
...

Construct에 따르면, 완전 일치하거나 유일하게 해결할 수 있는 이름 등은 코드로 처리하고, 모호한 후보만 Jev에게 전달했습니다.

또한, 기존에는 최대 3회 호출하던 생성 모델 기반의 Judge를 1회의 Jev 호출로 대체했다고 보고했습니다.

Jev 호출이 실패했을 경우 등에는 기존의 Judge로 돌아가는 Fallback도 구현되었습니다.

AI Agent에서는 어떻게 사용해야 할까?

이 사례를 보면, AI Agent 전체를 Jev로 대체할 필요는 없다는 것을 알 수 있습니다.

예를 들어,

• 사용자 의도를 분류하는 것
• 어떤 툴로 처리를 분배할지 판단하는 것
• 검색 결과 후보가 관련 있는지 판단하는 것
• 저장된 정보와 새로운 정보가 같은 대상인지 판단하는 것

등의 작은 판단 부분에 활용할 수 있습니다.

반면, 긴 문서 생성이나 복잡한 Planning 등은 기존 LLM이 담당하는 구성입니다.

AI Agent의 내부 처리를 자세히 들여다보면, LLM이 아니어도 될 만한 판단이 여러 개 발견될 수도 있습니다.

그러한 부분을 Jev에 맡길 수 있을지 검토해보는 것은 흥미로울 것 같습니다.

6. LLM의 체크 처리로 사용하기

TypeSafe는 Jev의 용도로 분류나 라우팅(Routing) 외에도 LLM의 입력 및 출력에 대한 점수(Score), 판단(Judge), 검증(Verify), 가드레일(Guardrail) 등도 제시하고 있습니다.

예를 들어, LLM이 생성한 답변에 대해 다음과 같은 판단을 Jev에게 맡기는 구성이 가능합니다.

• 사용자의 질문에 답변했는지 여부
• 지정된 조건을 충족하는지 여부
• 추가 확인이 필요한지 여부

사용자 입력
|
v
...

예를 들어, '사용자의 요구에 답변했는지'라는 판단을 Noul에서 수행하고, 그 결과를 사용해 후속 처리를 분기시키는 방법입니다.

다만, Jev가 체크했다고 해서 해당 답변이 반드시 정확한 것은 아닙니다.

Jev 자체가 오판할 가능성이 있습니다.

또한, TypeSafe의 공식 문서에서도 적대적인 입력(adversarial input)에 의해 Jev의 판단이 영향을 받을 수 있다고 설명하고 있습니다.

따라서 보안상 중요한 판단이나 고위험 작업에서는 Jev만을 유일한 안전 대책으로 삼아서는 안 됩니다.

Jev를 실제로 사용하려면?

여기까지 설계 패턴 위주로 소개했지만, Jev는 API를 통해 이용할 수 있습니다.

공식 문서에는 POST https://api.typesafe.ai/v1/systemone

으로 리퀘스트하는 방법이 공개되어 있습니다.

필요한 것은 주로 다음과 같습니다.

• TypeSafe의 API 키
• 판단 대상이 되는 state
• 판단을 시킬 questions
• 사용할 모델

Python SDK도 공식적으로 제공되지만, 여기서는 API 구조가 이해하기 쉽도록 cURL 작성 예시를 소개합니다.

API 리퀘스트 예시

예를 들어 문의 분류, 긴급성, 고객 불만도를 종합적으로 판단할 경우 다음과 같이 작성할 수 있습니다.

curl -X POST https://api.typesafe.ai/v1/systemone \
-H "Authorization: Bearer $TYPESAFE_API_KEY" \
-H "Content-Type: application/json" \
...

이것은 TypeSafe 공식 Quick Start에 게재된 API 리퀘스트를 기반으로, Choice의 선택지에 other를 추가한 작성 예시입니다. 실제 실행 결과는 아닙니다.

이 리퀘스트에서는 하나의 State에 대해 3가지 종류의 판단을 요구하고 있습니다.

department는 Choice로 문의처를 분류하고, frustration은 Score로 불만도를 평가하며, is_urgent는 Noul로 긴급성을 평가합니다.

실제 응답(response)에서는 answers 안에 각 질문의 결과가 반환됩니다.

후속 프로그램에서는 예를 들어 다음과 같이 활용할 수 있습니다.

department = technical
→ 기술 지원으로 배정
department = billing
...

※ 위 내용은 처리 분기 예시이며, API 실행 결과는 아닙니다.

또한, department의 confidence가 낮으면 자동으로 담당 부서를 확정하지 않고 인간의 확인 단계로 넘기는 처리를 구현할 수도 있습니다.

여기서 중요한 것은, other가 추가되어 있어도 Jev가 항상 올바르게 other를 선택할 수 있는 것은 아니라는 점입니다.

분류 후보의 포괄성(網羅性)을 높이기 위한 설계이며, 오분류를 완전히 없애는 시스템은 아닙니다.

참고로, 위의 명령어는 기사 작성 시점에 실기 실행하지 않았으므로 동작 결과나 처리 시간은 게재하지 않습니다.

실제 운영할 경우의 포인트

Jev를 실제 시스템에 도입하는 경우에는 단순히 API를 호출하면 되는 것이 아닙니다.

공식 문서와 Construct의 도입 사례를 통해 특히 중요하다고 생각한 점을 정리했습니다.

1. 코드로 처리할 수 있는 것은 코드로 처리한다

예를 들어 다음과 같은 처리가 있습니다.

따라서 코드로 정확하게 계산할 수 있는 처리까지 Jev에게 맡길 필요는 없습니다.

2. 판단에 필요한 정보만 전달한다

Jev는 입력된 State를 기반으로 판단합니다.

TypeSafe에 따르면, 질문과 관련 없는 정보가 대량 포함되어 있으면 판단 정확도가 저하될 수 있는 경우가 있습니다.

따라서, 방대한 정보를 그대로 전달하기보다는 코드나 검색 처리를 통해 필요한 정보를 추출한 후 Jev에 전달하는 구성이 권장됩니다.

Construct의 Entity Matching 역시 코드로 후보를 검색한 후 Jev에 전달하는 구성입니다.

3. Threshold는 실제 데이터로 결정해야 한다

Jev가 반환하는 확률이나 confidence를 무조건적인 판단 기준으로 사용해서는 안 됩니다.

실제로 Construct는 자체 테스트 데이터를 기반으로 Entity Matching의 Threshold를 설정하고 있습니다.

또한, 2026년 9월 29일에 공개된 독립 평가 논문에서도 일부 이진 분류(二値分類) 작업에서는 0.5를 고정 판단 임계값으로 사용했을 때 성능이 낮아진다는 것이 보고되었습니다.

실제 데이터로 판단 결과를 확인하고, 오판이 어느 정도 발생하는지 평가한 후에 Threshold를 결정해야 합니다.

4. Jev가 실패했을 경우의 처리를 미리 정해두기

Jev API를 이용할 수 없거나, 판단 결과를 채택할 수 없을 때의 Fallback(폴백) 처리도 필요합니다.

예를 들어,

Jev
|
+--> 판단을 채택 가능
...

이러한 구성입니다.

Construct 도입 사례에서도 Jev가 2초 이내에 응답하지 않을 경우 등에 기존의 Judge로 돌아가는 처리가 구현되어 있습니다.

5. '타입 안전 출력'과 '정확한 판단'은 별개다

TypeSafe는 Jev에 대해 출력이 형식으로 제약되어 있어, 생성 모델처럼 정의 범위를 벗어난 값을 자유롭게 생성하지 않는 것을 특징으로 언급하고 있습니다.

반면에, 타입이 정확하다는 것과 판단 내용이 정확하다는 것은 별개의 문제입니다.

TypeSafe가 공개하는 jev-1.13의 제약에는 수치 처리, 날짜 비교, 복잡한 간접 추론, 적대적 입력(敵対的入力), Choice의 선택지 순서 등에 의한 문제들이 포함되어 있습니다.

Jev를 사용하면 판단이 반드시 정확해진다는 이해는 피해야 합니다.

요약

이번에는 Jev를 실제 시스템에서 어떻게 사용할 수 있는지, 공식 문서와 공개 사례를 참고하여 생각해 보았습니다.

Jev 활용의 흥미로운 점은 모든 처리를 AI에 맡기는 것이 아니라, 기존 시스템 내에서 작은 판단만을 담당하게 하는 점입니다.

예를 들어,

입력 데이터
|
↓
...

처럼 일반 코드, Jev, LLM, 인간의 역할을 분리할 수 있습니다.

Jev 공식 문서에서 소개된 Intent Routing, Confidence-Gated Routing, Speculative Fan-Out, Composite Scoring 역시 기본적으로 이 생각에 따르고 있습니다.

또한, Construct 사례에서는 코드로 해결 가능한 부분을 먼저 처리하고, 남은 모호한 판단만을 Jev에 맡긴다는 실용적인 구성이 소개되었습니다.

Jev는 새로운 챗 AI라기보다는, 지금까지 일반 코드나 LLM으로 처리하던 모호한 판단에 대한 또 하나의 선택지를 제공하는 AI라고 생각하는 것이 이해하기 쉽습니다.

물론 실제 정확도나 비용, 처리 시간에 미치는 영향에 대해서는 대상 처리를 통해 검증해야 알 수 있습니다.

다만, 기존 시스템이나 AI Agent를 재검토하여 '반복적으로 발생하는 작은 판단'을 찾아본다면, Jev를 활용할 수 있는 부분을 발견할 수도 있을 것입니다.

참고 정보

공식 정보

• TypeSafe AI - Introducing System One Models & Jev

2026년 9월 15일 공식 발표. Jev의 설계 사상, 가격, 성능, 예상 용도. -

• TypeSafe AI - Introduction

Jev의 기본 사양, Choice / Score / Noul 개요. -

• TypeSafe AI - Quick Start

API 요청 구조, Python SDK, 기본적인 이용 방법. -

• TypeSafe AI - Patterns

Jev 공식 설계 패턴 목록. -

• TypeSafe AI - Intent Routing

입력 내용에 따른 처리 분기. -

• TypeSafe AI - Confidence-Gated Routing

confidence에 따른 처리 분기. -

• TypeSafe AI - Speculative Fan-Out

여러 질문을 모아서 실행하는 설계. -

• TypeSafe AI - Composite Scoring

여러 평가 결과를 코드로 조합하는 설계. -

• TypeSafe AI - Choice

Choice의 사양과, other나 none of the above

처리 방법. - TypeSafe AI - Confidence

Confidence와 확률의 차이점, Threshold에 대한 생각.

• TypeSafe AI - Jev 1.13 Jaggedness

Jev 1.13의 알려진 제약 사항과 권장되는 대처 방법.

도입 사례 및 독립 평가

• Construct - We put Jev inside our AI employee

2026년 9월 30일 공개. AI Agent의 Memory 내 Entity Matching에 Jev를 도입한 사례와 실측 결과. - Tobias Deußer et al. - Evaluating and Benchmarking the System One Model Jev

Jev 1.13.0을 37개 데이터셋 및 346,009개의 요청으로 평가한 연구. 2026년 9월 29일 공개.

논의