팀원 전원이 아직 Jev에 접근할 수 없어 omlx 기반의 임시 Jev를 제작했습니다
요약
팀원들이 아직 접근할 수 없는 Jev에 대한 임시 대체재인 omlx 기반의 LocalJev를 제작했습니다. 이 과정에서 diffusiongemma와 Qwen MoE, Gemma 4 MoE 등 다양한 자기회귀 모델들을 벤치마킹하고 평가했으며, 로컬 환경에서도 좋은 성능과 속도를 보여 일반 API 라이브러리와 연동 가능합니다.
핵심 포인트
- Jev 접근 불가 문제를 해결하기 위해 omlx 기반의 임시 LocalJev를 제작함.
- diffusiongemma, Qwen MoE, Gemma 4 등 다양한 모델을 벤치마킹하고 평가했음.
- 100% 프롬프트 코딩으로 구현되었으나 로컬 환경에서 성능이 우수함.
- LocalJev 서버는 일반 Jev API와 함께 사용할 수 있는 API를 노출함.
아직 팀원 모두가 Jev에 접근할 수는 없습니다. 오늘 아침 omlx 위에 간이(poor man's) Jev를 만들어 로컬에서 사용할 수 있도록 했습니다. diffusiongemma와 다양한 자기회귀 모델(autoregressive models)들(Qwen MoE, Gemma 4 MoE, 그리고 Gemma 4 e4b/e2b)을 포함하여 여러 모델들을 벤치마킹하고 평가했습니다. 벤치마크 보고서는 레포지토리에 있습니다.
이것은 100% 프롬프트 코딩(promptcoding)이지만, 평가 결과는 괜찮아 보이고 로컬 머신(m5 max 64gb)에서 속도가 상당히 좋습니다. 그리고 LocalJev 서버는 일반 Jev API 래퍼 라이브러리와 함께 사용할 수 있는 API를 노출합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 X 토픽: 오픈소스 LLM의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0