이런 기술을 OpenRouter나 AWS Bedrock 같은 허브에서 쓸 수 있으면 좋겠음. 개인정보 보호와 보안 우려가 커진 상황에서 새 모델 공급업체를 직접 추가하기는 어려움. 이미 거래 중인 AWS 같은 플랫폼에 새로운 기능이 들어오면, 기술 담당자가 규정 준수·구매·공급업체 심사를 다시 거치지 않고 도입할 수 있음.
모델 자체 비용이 10~100배 절감된다면 중개 수수료를 더 내더라도 충분히 가치가 있음.

OpenRouter는 보안과 개인정보 보호를 신경 쓰는 것과 정반대 아닌가? 공급업체를 직접 고를 수는 있겠지만, 결국 가장 싼 업체가 추론을 맡는 게 핵심 아닌가?

지금 같은 환경에서 이런 기술이 오래 비밀로 남을 것 같지는 않음. 실체 없는 홍보가 아니라면, 무엇이 가능한지 보여주는 것만으로도 모두의 수준을 끌어올릴 수 있음.

좋아 보이지만 지금까지의 주장은 마케팅 용어처럼 들릴 뿐이라 실제 증거를 보고 싶음. 가령 “RLCD”와 “병렬 샘플링”을 뒷받침하는 근거가 없음. 70500ms 대 3329초라는 비교도 기준 LLM이 비슷한 작업을 수행하지 않는다면 공정하지 않음. LLM은 긴 사고 사슬을 거치는데 Jev는 범위가 좁은 구조화 작업에서 생성을 아예 건너뛴다면, 더 빠른 건 당연함.
그래도 사실이길 바라며 Jev를 기대하고 있음.

위키백과의 한 페이지에서 다른 페이지까지 이동하는 게임에 걸리는 시간 등 여러 벤치마크가 있음. Jev는 같거나 더 적은 이동 횟수로 목표에 도달하면서 시간과 비용은 각각 약 10분의 1인 것으로 보임. 비슷한 성능을 낸다면 사고 사슬을 사용하는 LLM과 비교하는 것도 충분히 타당함.

애초에 LLM이 아니라 구조화 데이터용 최첨단 모델임.

Doom을 플레이하는 영상을 봤는지? 나는 그걸 보고 이해가 됐음.

문서 쪽이 더 잘 설명하는 것 같음. LLM 토큰과의 비교는 다소 혼란스러움.
모델에 상태와 질문을 입력하는 구조로 보임. 상태는 구조화된 텍스트인 듯한데 멀티모달인지는 모르겠고, 질문은 “Choice”, “Score”, “Noul” 형태이며 추가적인 확장도 가능한 듯함. 그러면 선택지와 그에 따른 확률·신뢰도 등 질문에 맞는 답을 출력함.
추가로 AI 입문 페이지를 보니 사전 학습된 기반 모델에 RLCD를 적용하는 것 같은데 맞는지? https://docs.typesafe.ai/concepts/system-one

CEO임. 이해한 내용이 맞음! LLM 토큰과의 비교는 이해하기 어렵다는 데 동의함. 출력 토큰 자체가 서로 비교 가능한 것도 아님.
텍스트나 구조화된 상태, 예를 들어 여러 텍스트를 담은 JSON을 입력하면 결정을 출력함. choice는 match 문에, score는 정렬에, Bernoulli의 줄임말인 noul은 if 문에 대응함.

분류 작업에 아주 유용할 것 같음. 지난해 전사문 100만 건을 대량 분류하면서 LLM 대신 임베딩을 생성하고 코사인 유사도로 분류하는 방식으로 바꿨음. 비용과 시간을 크게 줄였지만 정확도는 LLM보다 낮았음. 이 모델이라면 필요한 비용·속도 수준에서 Terra 수준의 분류 능력을 얻을 수 있을 듯함.

첫 공개 모델 Jev가 조기 접근으로 제공되며, System One 작업에서 기존 LLM과 비슷한 지능을 보이면서 속도와 효율은 100배 높다고 하는데, 20~200배라는 수치는 어디에 있는지? 제목이 오해를 부름.
또 정확히 무엇인지 이해가 안 됨. 범용 문제에 적용할 수 있는 자동화용 의사결정 트리라는 뜻인가?

어떻게 작동하는지 정확히 안다고 확신함. 몇 달 전에 비슷한 것을 만들었음. 다만 생성 기능이 없으면 활용 범위가 극도로 제한됨. 모델이 환각을 일으키지 않더라도 틀릴 수는 있음. 데이터를 지어내지 못할 뿐임.

그렇다면 어떻게 작동하는지 공유해 줄 수 있는지?

추상 구문 트리(AST) 를 입력하면 코딩에도 쓸 수 있을 것 같음. TypeSafe에서 일한다면 꼭 시도해 주길 바람.
아마 더 나은 인코더와 다음 잠재 표현 예측을 갖춘 LLM도 이와 비슷하게 작동할 것이므로, 결국 그런 LLM이 이 아키텍처를 앞설 것 같음. 그래도 놀라운 기술임.

예전에 pi에 tree-sitter를 구현한 적이 있음. 작동은 하지만 토큰을 절약하거나 정확도를 높인다는 확실한 근거는 없음. 단순히 도구를 써 보고 결과를 확인하는 방식보다는 AST용으로 학습된 모델이 더 나은 구현이라고 생각함. 시간이 나면 연구해 보고 싶음.

이론적으로는 미완성 텍스트를 입력하고 다음 문자가 될 후보들의 확률을 물어볼 수도 있는 건가?

가능하지만 이 모델은 텍스트에 최적화되어 있지 않음. 복잡한 주제이지만, 텍스트 생성은 매우 까다로우며 길고 일관된 글을 만들려면 모드 드로핑(mode dropping)이 필요함.