Jev란 무엇인가? TypeSafe AI의 System One 모델 가이드

에이전트는 루프(loop) 형태로 작동합니다. LLM이 무엇을 할지 결정하고, 도구(tool)가 실행하며, 모델이 결과를 평가한 다음, 작업이 완료될 때까지 이 루프를 계속합니다.

과거에는 에이전트와 LLM을 소프트웨어 애플리케이션에 통합하기 어려웠습니다. 왜냐하면 소프트웨어는 구조화된 데이터와 예측 가능한 인터페이스에 의존하기 때문입니다. 이를 훨씬 쉽게 만든 두 가지 기본 요소가 등장했습니다:

도구 호출(Tool calling): 모델이 구조화된 요청을 만들고 구조화된 결과를 받을 수 있게 합니다.
구조화된 출력(Structured outputs): 모델이 재구성된 결과를 반환할 수 있게 합니다.

하지만 이 기능들이 갖춰져 있어도 에이전트 루프는 여전히 느리고 비용이 많이 듭니다: 모든 결정에 또 다른 모델 호출이 필요하기 때문입니다.

여기, Jev가 등장합니다. Jev는 TypeSafe AI에서 출시한 새로운 모델입니다. 이 회사는 분류 작업(classification tasks)에서 비교 가능한 LLM보다 최대 200배 빠른 추론 속도와 400배 낮은 비용을 보고했습니다.

본 게시물에서는 Jev가 어떻게 작동하는지, 에이전트 루프의 어느 부분에 들어맞는지, 그리고 LangChain과 함께 어떻게 사용할 수 있는지 다룹니다.

Jev에 대하여

Jev는 사실 전통적인 LLM이 아니며 텍스트를 생성하지도 않습니다. 이는 TypeSafe AI 팀에서 System One 모델이라고 부르는 것입니다:

📖 System One 모델은 소프트웨어가 직접 사용할 수 있는 빠르고 구조화된 결정을 내리도록 구축된 일련의 AI 모델입니다. System One 모델은 상태(state)를 평가하고 유형이 지정된 답변과 확률을 반환합니다.

이는 보정된 결정(RLCD: reinforcement learning for calibrated decisions)을 위해 강화학습(RL)을 사용하여 훈련됩니다. 사용자의 코드는 이러한 결과를 사용하여 에이전트가 다음에 무엇을 할지 안내하며, 매번 결정할 때마다 전체 채팅 LLM 호출이 필요하지 않습니다.

Jev 모델을 호출하려면 상태(context)와 해당 상태에 대한 질문을 전송해야 합니다. 다음은 그들의 문서에 있는 지원 티켓 예시의 단일 질문 버전입니다:

{
"model": "jev-latest",
"state": "Hi, I've been trying to connect my Stripe account for 3 days and it keeps failing. I'm losing sales. Please help ASAP.",
...

문서의 예시는 나머지 응답 없이 이 긴급한 답변을 보여줍니다:

{
"is_urgent": {
"type": "noul",
...

메시지가 긴급할 확률이 99.9%라는 것이며, 귀하의 애플리케이션은 이를 티켓 우선순위 지정에 사용할 수 있습니다.

지원되는 질문 유형은 세 가지가 있습니다:

선택지(Choice): 옵션 집합에서 선택합니다. 각 옵션에 대한 확률과 전반적인 신뢰 점수를 반환합니다.점수(Score): 낮은, 중간, 높은 등 순서화된 수준을 기준으로 입력을 평가합니다. 연속적인 점수, 근본 분포 및 신뢰 값을 반환합니다.아님(Noul): 예/아니오 질문에 답합니다. 진술이 참일 확률을 반환합니다.

여기서 중요한 특징 중 하나는 단일 요청으로 동일한 상태에 대해 여러 질문을 할 수 있다는 것입니다.

💡 System One 모델은 요청의 모든 질문을 병렬로 평가합니다. 질문을 추가해도 응답 시간이 거의 변하지 않으며, 비용은 추가 질문에 대한 토큰만 발생하므로 저렴합니다.

지원 티켓에 대해 여러 질문을 하는 예시는 TypeSafe Quickstart를 참조하십시오.

요약하자면, 기존 LLM과 달리 Jev는 텍스트 생성이나 순차적 의사 결정에 구애받지 않습니다!

LangChain에서 Jev 사용하기

LangChain의 제공업체 비종속 모델은 수천 개의 다른 통합 및 모델 제공업체와 함께 Jev를 지원하는 데 적합합니다.

LangChain 통합은 TypeSafeClassifier를 통해 Jev를 노출합니다. 여기에 상태와 질문을 .invoke()에 전달하고, 채팅 응답 대신 분류 결과를 얻습니다.

langchain-typesafe를 설치하고 TYPESAFE_API_KEY를 설정한 다음 호출을 수행합니다:

from langchain_typesafe import Noul, TypeSafeClassifier
classifier = TypeSafeClassifier()
response = classifier.invoke({
...

상태는 텍스트, 구조화된 데이터 또는 LangChain 메시지일 수 있습니다. 이는 에이전트가 이미 가지고 있는 컨텍스트를 사용하여 노드나 미들웨어 후크에서 Jev를 호출하는 것을 간단하게 만듭니다.

이를 사용자 지정 미들웨어나 도구로 구축할 수 있습니다!

사용 사례

Jev는 LLM의 대체재가 아닙니다. 텍스트를 생성하지는 않지만, 오늘날 우리가 LLM을 위해 자주 사용하는 분류(classification) 작업을 동일한 지연 시간과 비용 없이 처리할 수 있습니다. 이것이 Jev를 에이전트를 구동하는 모델에 유망한 보완재로 만듭니다. 즉, 개방형 추론 및 생성이 필요할 때는 LLM을 사용하고, 그 과정에서 빠르고 구조화된 결정이 필요할 때는 Jev를 사용하는 식입니다.

모델 라우팅 (Model routing)

단순한 조회(lookup) 작업과 어려운 디버깅 작업은 동일한 모델을 필요로 하지 않습니다. 모델 라우팅 미들웨어(middleware)는 Jev가 요청을 평가하고 사용자가 정의한 기준에 따라 적절한 모델을 선택하도록 하여, 간단한 작업에는 빠르고 저렴하며 복잡한 작업에는 더 강력하게 대응할 수 있게 합니다.

from langchain.agents import create_agent
from langchain_typesafe.experimental.middleware import (
ModelChoice,
...

라우터는 최신 사용자 메시지로부터 모델을 선택하여 실행 전체에 걸쳐 사용합니다. 확률(probabilities)과 신뢰도(confidence) 역시 에이전트 상태(agent state)에서 계속 확인할 수 있습니다.

자동 모드 (Auto Mode)

에이전트는 본질적으로 신뢰하기 어렵습니다. 에이전트는 나쁜 지침(자연적이든, 충분히 동기 부여된 공격자로부터 오든)을 받을 수 있으며, 이는 우리가 원하지 않는 행동을 하도록 설득할 수 있습니다.

claude, codex, cursor와 같은 코딩 지원 도구들은 위험한 행동이 실제로 취해지기 전에 이를 분류하는 어떤 방식을 출시했으며, 이것이 에이전트에 대한 신뢰를 점진적으로 구축하는 데 도움을 주었습니다. 지금까지 이 분류기 단계는 해당 지원 도구의 비공개 소스 부분에 갇혀 있었습니다.

이제 저렴하고 성능 좋은 분류 모델이 존재하게 되었으므로, 우리는 동일한 패턴을 가져와 모든 에이전트에 적용할 수 있습니다!```

from langchain.agents import create_agent
from langchain_typesafe.experimental.middleware import (
AutoModeMiddleware,
...

AutoModeMiddleware는 Jev를 사용하여 도구 호출(tool calls)에서 위험한 결정이 있을지 확인하고, 도구가 실행되기 전에 해당 호출을 차단합니다.

시작하기! (Get Started!)

저희는 Jev와 이것이 가져올 가능성에 대해 매우 기대하고 있습니다. 이미 몇 가지 흥미로운 프로젝트들을 보았습니다: Browserbase의 Kyle Jeong은 아주 적은 비용으로 브라우저 사용 에이전트를 구동하고 있고, Jarrod Watts는 라이브 트레이딩 에이전트를 구축했으며, Ryan Vogel은 대규모 이메일 분류(email triage) 작업을 수행하고 있습니다.

요즘은 매주 새로운 모델들이 출시되고 있지만, 이번 Jev는 상당히 큰 반응을 얻었습니다. LangChain과 Jev를 활용하여 무엇을 만들지 기대됩니다.

포럼에서 의견을 알려주시거나, X에 저희를 태그하고 구축하는 내용을 공유해 주시거나, 아니면 LangChain 이슈에 참여해 주세요!