JEV-27B-VL: 이미지로부터 AI가 더 나은 결정을 내릴 수 있을까?

개요

JEV-27B-VL는 autotrust가 유지하는 Apache-2.0 라이선스의 270억 매개변수 비전-언어 모델(vision-language model)입니다. 이 모델은 autotrust/JEV-27B에 이미지 입력을 추가했으며, 두 가지의 명확한 모드를 제공합니다: System 1은 로짓(logits)을 읽어 한 번의 순방향 패스(forward pass)로 지정된 옵션들에 대한 유형화된 결정과 보정된 확률(calibrated probabilities)을 반환하고; System 2는 수정되지 않은 Qwen3.8-27B로 설명되며, 이미지 입력을 통해 텍스트 또는 단계별 추론을 생성할 수 있습니다. System 1은 예/아니오, 2256개 옵션 중 선택, 그리고 05점의 평점을 지원하며, 최대 256K 토큰 길이의 프롬프트를 처리합니다. 가장 중요한 실질적인 차이점은 이것이 단순한 대화형 비전 모델이 아니라는 점입니다: 그 결정 인터페이스는 생성된 답변을 파싱할 필요 없이 확률을 직접 반환하기 때문입니다. 제공된 자료들은 라이브러리로 Transformers를 식별하고 System 1을 위한 vLLM HTTP 서버 확장을 설명합니다. 이들은 비전 인코더(vision encoder), 이미지 해상도 제한, 학습 코퍼스(training corpus), 학습 컴퓨팅(training compute), 또는 하드웨어 최소 사양을 명시하지 않았으므로, 이러한 요소들을 매개변수 수나 벤치마크 결과로부터 추론해서는 안 됩니다.

최적 사용 사례

커버 이미지로 새로운 짧은 비디오 순위 매기기. System 1은 후보 커버 이미지를 사용자가 마지막으로 시청한 5개 비디오의 커버 이미지와 비교하여 점수를 매기고, 사용자가 해당 후보를 시청할 확률을 반환할 수 있습니다. 보고된 MicroLens-100k 평가에서, 커버 이미지만으로 점수 매기기는 20개의 후보에 대해 0.727 AUC와 0.590 HR@5에 도달했으며, 이는 59,045명의 사용자 기록을 기반으로 학습된 아이템 기반 협업 필터링(item-based collaborative filtering)의 0.728 AUC 및 0.490 HR@5와 비교됩니다. 이로 인해 새로운 클립이 상호작용 기록이 없을 때 유용한 콜드 스타트 순위 신호가 됩니다. 그 결과는 200명의 사용자를 대상으로 한 오프라인 평가일 뿐이며, 피드 규모에서의 실제 성능을 입증하는 것은 아닙니다; 라이브 데모에서는 하나의 GPU로 약 2.6초 만에 20개의 커버 이미지를 점수화했습니다.

웹 에이전트가 작업을 완료했는지 판단합니다. 사용자의 목표, 에이전트의 행동 및 최종 메시지, 그리고 최종 스크린샷을 제공하면 됩니다. System 1은 단일 순방향 패스(forward pass)로 완료 확률을 반환합니다. AgentRewardBench의 1,302개 전문가 라벨링 트랙젝토리에서 이 모델은 AUROC 0.91, 정밀도(precision) 78.4, 그리고 임계값 0.5에서의 재현율(recall) 70.2를 보고했습니다. 또한 그 정밀도는 해당 판정기의 재현율에 따른 목록의 모든 리더보드 판정기를 능가했습니다. 이는 보정된 점수가 자유 형식의 논평보다 더 유용한 오프라인 평가, 필터링 또는 보상 신호에 적합합니다.

멀티모달 답변을 비교합니다. 이미지를 기반으로 질문과 두 개의 후보 답변이 주어졌을 때, System 1은 어떤 답변이 더 나은지 점수를 매길 수 있습니다. VL-RewardBench에서는 전체 정확도 78.3%를 기록했으며, 환각(hallucination)에 대해서는 83.2%, 추론(reasoning)에 대해서는 78.2%를 달성했습니다. 일반 질문의 경우 정확도는 58.0%로 낮았습니다. 더 새로운 Multimodal RewardBench 2에서는 네 가지 작업 평균 점수가 63.8점이었는데, 이 표에서 GPT-4.1 및 Qwen3-VL-32B와 경쟁력이 있었으나 GPT-5 및 Gemini 3 Pro에는 뒤처졌습니다. 이미지 편집(image editing)에 대한 보고된 약점(57.8)은 이것이 주요 평가 대상인 경우 중요합니다.

스크린샷 또는 시각적 상태에서 행동을 선택합니다. README는 슈퍼 마리오 브라더스(Super Mario Bros.)에서의 이동 및 점프 선택, 테트리스 열 및 방향 선택, 그리고 스네이크(Snake)의 방향 전환을 포함하여 게임 행동에 대한 결정을 보여줍니다. 이는 제시된 설정에서 마리오 결정당 약 150ms, 테트리스 결정당 122ms, 스네이크 결정당 300ms를 보고합니다. 이러한 예시는 제한된 행동 집합과 이미지 및 필요한 텍스트로 표현될 수 있는 시각적 상태를 가진 작업에 적합하며, 일반적인 게임 플레이 능력이나 다양한 하드웨어 및 서비스 조건에서의 성능을 입증하는 것은 아닙니다.

완성되기 전에 스케치를 분류할 수 있습니다. Quick, Draw! 평가에서 320명의 실제 플레이어들이 그린 스케치에 대해, 이 모델은 완성 후에는 88%의 확률로 올바른 그림을 선택했으며, 스트로크(strokes)의 60% 지점에서는 62%를 기록했습니다. 이는 16개의 답안 중 무작위 추측률인 6%보다 훨씬 높은 수치입니다. 이 결과는 후보 레이블이 알려져 있고 초기 예측에 가치가 있는 시각적 분류(visual classification) 분야에 구체적으로 적합합니다. 보고된 수치는 해당 데이터셋과 설정에 적용되는 것이며, 임의의 그림이나 개방형 이미지 이해(open-ended image understanding)에는 적용되지 않습니다.

한계점 (Limitations)

모델 카드에는 최대 이미지 해상도, 요청당 이미지 개수, 지원하는 이미지 형식, 이미지 전처리 규칙, 또는 최소 GPU/VRAM 요구 사항이 명시되어 있지 않습니다. 또한 모델 파일 형식, 양자화(quantization) 옵션, 배치 크기 가이드라인, 일반적인 처리량 벤치마크 등도 제공되지 않습니다. 27B의 파라미터 수와 보고된 단일 GPU 데모는 특정 GPU가 이 모델을 로드할 수 있음을 보장하지 않으므로, 배포 전에 실제 체크포인트(checkpoint) 및 서비스 구성과 비교하여 메모리 요구 사항을 확인해야 합니다.

System 1은 무제한적인 답변 생성이 아닌, 제공된 옵션에 대한 결정을 위해 설계되었습니다. 이 모델의 확률은 질문, 상태(state), 그리고 옵션 설명에 따라 달라집니다. README에는 한 줄짜리

벤치마크 결과는 작업별로 다릅니다. Multimodal RewardBench 2에서 이미지 편집은 가장 낮은 항목인 57.8을 기록했으며, 모델은 평균적으로 GPT-5와 Gemini 3 Pro에 뒤처졌습니다. VL-RewardBench에서는 환각(hallucination) 및 추론 점수가 더 높았음에도 불구하고 일반 정확도는 58.0이었습니다. 추천(recommendation), 에이전트 판정(agent-judge), 게임 결과는 작업별 평가이며, 새로운 도메인에서 유사한 품질을 보장하지 않습니다.

라이선스는 Apache-2.0이지만, 제공된 자료에는 추가적인 사용 제한 사항, 안전 테스트, 편향성 평가 또는 파인튜닝 레시피가 설명되어 있지 않습니다. 또한 유지보수 일정이나 향후 업데이트에 대한 약속도 제공되지 않습니다. README는 기능 세트를 “New (2026년 10월 1일)”로 표시하지만, 이 날짜만으로는 지속적인 유지보수를 확립할 수 없습니다.

비교 방법

AutoJev-27B. 작업에 이미지 입력이 필요한 경우, 예를 들어 스크린샷을 판정하거나 비디오 커버를 순위 매기는 경우, 또는 문서화된 System 1 인터페이스와 256K 토큰 프롬프트 지원이 워크플로우에 적합한 경우 JEV-27B-VL을 선택하세요. 제공된 AutoJev-27B 설명은 전체 정확도 84.60%를 보고하지만, 비교 가능한 비전 벤치마크, 속도 수치 또는 비용 수치를 제공하지 않습니다. 대신 자율 에이전트 개발 스토리, TypeSafe 호환 API 또는 브라우저 플레이그라운드가 더 적합한 경우 이를 선택하세요. 사용 가능한 수치들은 두 모델 간의 직접적인 품질이나 속도 순위를 뒷받침하지 못합니다.

OpenJev. 문서화된 이미지 기반 작업과 보고된 비전 벤치마크를 위해 JEV-27B-VL을 선택하세요. OpenJev는 텍스트, 웹 페이지 및 스크린샷에 대한 타입이 지정된 결정 모델로 설명되며, 최대 52개의 옵션과 약 1,460 프롬프트 토큰 및 23개 옵션을 사용하여 H100 하나에서 격리된 웹 결정을 수행하는 데 걸리는 시간은 약 210ms입니다. 이는 일반적인 JEV-27B-VL 요청에서는 찾아볼 수 없는 구체적인 속도 기준점입니다. 명시된 웹 결정 지연 시간이 필요하거나 옵션 제한이 더 작은 경우 OpenJev을 선택하세요. 제공된 정보는 동일한 작업에 걸쳐 비교 가능한 비용이나 품질 평가를 제공하지 않습니다.

open-jev-deberta-v3-large. 시각적 입력이나 Qwen3.8-27B 기반 System 2가 중요할 때 JEV-27B-VL을 선택하세요. DeBERTa 모델은 최대 255개의 옵션, 210개 이상의 순서화된 레벨에 대한 점수, 그리고 예/아니오 결정이 가능한 타입 지정(typed-decision) 형식의 독립적인 재현입니다. 이 모델의 설명에는 공용 골드 레이블을 사용하고 사설 워크플로우를 사용하지 않기 때문에 TypeSafe 결과와 비교할 수 없다고 명시되어 있습니다. 제공된 세부 정보는 비전 지원, 지연 시간(latency), 또는 비용에 대한 내용을 포함하고 있지 않아 스크린샷 판단을 위한 동등한 대안이 아닙니다.

imajev-4b. 제공된 페이지에는 이 모델에 대한 설명이 없으므로, JEV-27B-VL과 비교하여 품질, 속도, 비용, 입력 또는 사용 사례를 비교할 수 있는 근거가 없습니다.

비전 및 결정 기능이 문서화된 경우 JEV-27B-VL을 선택하고, imajev-4b은 자체 모델 문서를 통해 평가한 후 선택하는 것이 좋습니다.

lev. 문서화된 이미지 기반 결정 작업, 256K 토큰 프롬프트 또는 이미지 입력을 사용한 System 2 텍스트 및 추론이 필요할 때 JEV-27B-VL을 선택하세요. lev는 Qwen3.5-4B의 LoRA 어댑터로 설명되며, 출력 토큰은 없고 TypeSafe /v1/systemone와 호환되는 프로토콜을 사용합니다. 이보다 작은 기반 모델이 작고 타입 지정 결정 모델이 우선순위인 배포에 적합할 수 있지만, 제공된 정보에는 비교 가능한 지연 시간이나 품질 결과가 없습니다. 트레이드오프는 JEV-27B-VL의 문서화된 멀티모달 폭과 벤치마크 증거 대 lev를 위한 작고 프로토콜 호환적인 어댑터입니다.

기술 사양

JEV-27B-VL은 27B 비전-언어 모델입니다. 설명에 따르면 이는 Vision을 갖춘 autotrust/JEV-27B이며, System 2는 수정되지 않은 Qwen3.8-27B이고, System 1은 단일 순방향 패스(forward pass)에서 제공된 옵션의 확률을 반환하는 결정 판독기입니다. 자료에는 두 모드가 별도의 가중치를 사용하는지 또는 비전 구성 요소가 어떻게 구현되는지에 대한 설명이 없습니다.

작업 및 파이프라인: 이미지-대-텍스트; image-text-to-text

라이선스: Apache-2.0.

라이브러리: Transformers가 명시되어 있습니다. README에는 vLLM 서버에 POST /v1/decide를 추가하는 serve_decide.py도 설명되어 있습니다.

System 1 결정 유형: 예/아니오; 2256개 옵션 중 선택; 05점 평점.

System 1 출력: 단일 순방향 패스(forward pass)에서 모든 옵션에 대한 보정된 확률(calibrated probability).

System 1 요청 형식: HTTP를 통해 {kind, state, question, options}.

README에는 완전한 요청 예시나 정확한 응답 스키마는 제공되지 않습니다.

System 2 출력: 텍스트 또는 추론; 선택적 단계별 사고(step-by-step thinking); 이미지 입력.

컨텍스트: 최대 256K 토큰의 프롬프트. 보고된 장문 컨텍스트 테스트에서는 최대 250K 토큰 내에서 무작위 깊이로 숨겨진 문장을 사용했으며, 모든 테스트 길이에서 20/20을 달성했습니다.

비전 해상도 및 형식: 명시되지 않음.

학습 데이터, 학습 단계, 컴퓨팅 자원: 명시되지 않음.

가중치(Weights), 양자화(quantization), 하드웨어 최소 사양: 명시되지 않음.

보고된 지연 시간(latency): 라이브 데모에서 단일 GPU로 20개의 후보 커버를 점수 매기는 데 약 2.6초; 표시된 설정에서 Mario 결정당 약 150ms, Rubik’s Cube 결정당 46ms, Tetris 결정당 122ms, Quick, Draw! 추측당 270ms, Snake 결정당 300ms입니다. 이는 일반적인 처리량 보장치가 아닌 작업별 측정치입니다.

다운로드: 제공된 모델 메타데이터에 명시된 대로 179,237개.

README에는 추가적인 결정 벤치마크가 보고되어 있습니다. 6개의 공개 텍스트-결정 벤치마크에서 JEV-27B / JEV-27B-VL 행은 6개 그룹 평균 84.07%를 기록했으며, 이는 TypeSafe Jev 1.13 호스팅 API의 83.85% 및 NeoHorse-Jev-4B의 77.70%와 비교됩니다. jev-distill-corpus-v3에서 분리된(held-out) test_set_30k

, Jev-표시된 행에 대해 TypeSafe Jev 1.13 분포로부터 KL 발산(KL divergence) 0.017을 보고하며, 예/아니오 AUROC는 0.995, 명확한 최적 옵션이 있는 행에서는 선택 top-1 일치도가 95.8%이고, 0–5점 척도에서 평점 MAE(Mean Absolute Error)는 0.098이며, 예상 보정 오차(expected calibration error)는 0.0009, 그리고 보지 못한 작업군(unseen task families)의 정답 레이블에 대한 KL 값은 0.104입니다. 독립적인 800개 항목 의사결정 모델 압박 테스트(decision-models-under-pressure benchmark)에서 각각 2, 4, 8, 16개의 옵션에 대해 정확도는 0.876, 0.784, 0.767, 0.740을 기록했습니다.

모델 입력 및 출력

입력 (Inputs)

System 1 상태: 질문과 제공된 옵션 세트를 포함하는 텍스트 및/또는 이미지. HTTP 요청 형태는 {kind, state, question, options}입니다.

결정 종류 (Decision kind): 예/아니오, 2–256개 옵션 중 선택, 또는 0–5점 평점.

프롬프트 길이: 최대 256K 토큰까지 문서화되어 있으며, README의 장문맥 테스트는 최대 250K 토큰을 다룹니다.

System 2: 이미지 입력과 텍스트 또는 추론을 위한 프롬프트. 정확한 이미지 인코딩, 지원되는 형식, 해상도 및 다중 이미지 제한은 명시되어 있지 않습니다.

추천 예시 (Recommendation example): 이전에 시청한 비디오 커버 5개와 후보 커버 1개; 평가는 20개의 후보 비디오를 순위 매깁니다.

출력 (Outputs)

System 1: 예/아니오 결과, 선택 레이블 또는 평점 값을 포함하여 제공된 각 옵션에 대한 보정 확률(calibrated probability). 이 확률들은 단일 순방향 전달(forward pass)에서 읽어내며, 생성된 텍스트 파싱이 필요하지 않습니다.

System 2: 텍스트 또는 추론. README에는 고정 출력 스키마가 명시되어 있지 않습니다.

후처리 (Post-processing): 특별한 후처리는 설명되지 않았습니다. 순위 매기기의 경우, 반환된 확률에 따라 후보들을 정렬하고; 임계값 결정의 경우, 애플리케이션에 적합한 임계값을 선택하여 대표 데이터로 검증해야 합니다.

시작하기 (Getting started)