H2O-Lightning-4B: Apache-2.0 4B 의사결정 모델, JevBench에서 공식 #1 오픈 모델 달성 (Jev 초과)

공개 정보: 저는 H2O.ai에 근무합니다. 저희는 'decisions API' 스타일의 추론을 위한 오픈 웨이트(Apache-2.0) 모델인 H2O-Lightning-4B를 출시했습니다. 이는 Jev가 대중화시킨 방식입니다. 즉, 상태와 유형이 지정된 질문(선택지 고르기 / 예-아니오 / 점수)을 보내면 단일 순방향 패스(forward pass)를 통해 보정된 확률을 돌려받습니다. 생성되는 토큰이 없으므로 빠르고 저렴합니다. 결과 (JevBench, 공개 리더보드): - 복합 점수 72.5점 (Jev의 1.13점 대비 71.5점); 현재 최고 성능의 오픈 모델입니다. - 리더보드: https://benchmarkheaven.com/jev-models 실행 방법: - 기반 모델: Qwen3.5-4B, 파인튜닝됨 - 스톡 vLLM에 작은 오픈 앳(shim) 추가 (저장소 내); H100에서 결정당 약 30ms 소요 - 데이터는 로컬에 유지되며 호출당 비용이 없습니다 출시 예정: 내부 테스트 결과 Jev보다 훨씬 지능적인 12B 및 31B 버전도 곧 출시될 예정이며, 여전히 오픈 웨이트이고 결정당 단일 순방향 패스를 사용합니다. 데모 (보험 청구서 1,000건의 받은 편지함 분류, 다중 브라우저 웹 에이전트, 의사결정 시계에 대한 DOOM):

가중치(Weights), 모델 카드 및 서빙 지침: https://huggingface.co/h2oai/h2o-lightning-4b 설정과 지연 시간(latency)에 관한 질문에 기꺼이 답변드리겠습니다. /u/pseudotensor1234가 제출함 [링크] [댓글]