어떤 확산 모델이든 잠재적으로 Jev처럼 쓸 수 있음. https://github.com/vllm-project/vllm/pull/57250.
내 DGX Spark에서는 판단 한 번에 약 0.2초가 걸림. 프로그래밍 언어 판별은 10/10, 자연어 판별은 9/10, 단위 크기 비교는 10/12를 맞혔고, 오답은 모두 낮은 확률값으로 표시됨. Jev 모드의 DiffusionGemma는 ASCII 미로도 풀 수 있음.

조금 다른 얘기지만 궁금함. 인코더-디코더 구조를 수정한 프로젝트들은 왜 최소형 Qwen 3.5 대신 2.5나 3 같은 이전 버전을 많이 쓸까? 단순히 매개변수 수억 개 차이 때문일까, 아니면 3.5의 구조나 사전학습에 다른 이유가 있을까?

내 경험상 Claude에 LLM 관련 코드를 이식해 달라고 하면서 버전을 명시하지 않으면, 오류를 줄이려고 학습 데이터에서 가장 널리 쓰인 버전을 기본으로 선택함. 3.5는 학습 데이터 범위 밖임.

최근 비슷한 일을 겪었음. 에이전트가 만든 스크립트로 HF 검색 API에서 초소형 모델을 찾았는데, Qwen 3.5가 상위에 나오지 않았음. 모델 자체도 학습된 오래된 자료를 선호하는 편인데, 검색 스크립트도 최신성에 가중치를 전혀 주지 않았음.

Qwen 2.5는 선형 어텐션 도입 이전 모델이라서 그런 것 같음. 선형 어텐션은 활용하기가 더 복잡할 수 있음.

내 mini에서는 qwen2.5-14b가 작은 Qwen 3 모델들보다 훨씬 빠르게 돌아감.

README에는 이렇게 적혀 있음. “Jev형 모델은 텍스트 하나와 N개의 텍스트 선택지를 입력받음. 각 선택지에 대한 확률을 하나씩 반환함. 답을 단어 단위로 생성하는 대신 한 번의 처리로 끝냄.”
TypeSafe의 발표문을 읽고 홈 어시스턴트 시연까지 봤지만 여전히 무엇인지 알 수 없었음. 발표문에 이 세 문장이 들어갔더라면 훨씬 이해하기 쉬웠을 것 같음.

Doom 시연 영상의 옆쪽 막대를 보면 이해하기 쉬움. 가능한 각 행동을 이번 차례에 선택해야 할 확률을 나타내며, 모든 값이 계속 갱신됨. Jev가 LLM의 생성 방식과 어떻게 다른지 잘 보여주는 시각화라고 봄.

실제로는 제로샷·퓨샷 분류기에 불필요한 단계를 잔뜩 붙여 놓은 LLM 활용을 많이 봤음. 그래서 모델의 잠재 공간에 담긴 지능을 활용하면서도 출력을 아주 효율적으로 내놓는 모델이 늘어나는 게 흥미로움. 아직 LLM에서 충분히 탐구되지 않은 영역처럼 느껴져 앞으로 무엇이 나올지 기대됨.