Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
최근 LLM 성능 평가의 신뢰성에 대한 회의론을 제기하며, 벤치마크보다 자체 테스트가 더 유용함을 강조합니다. 특히 이미지 입력 및 긴 컨텍스트 실험 지원 기능을 갖춘 Jev 모델과 Gemini 3.5 Flash-Lite 같은 멀티모달 모델의 활용 방안에 대해 논하고 있습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 RSS: GeekNews (한국어)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기대체로 벤치마크를 신뢰하지만, 최근 6~9개월간 직접 써본 결과로는 실제 LLM 성능과의 연관성이 낮았음. 간단한 자체 테스트 몇 개를 돌리는 편이 더 유용했음.
직접 테스트해 보니 소프트웨어 엔지니어링 벤치마크에 최적화된 모델과 실제 운영 환경에서의 성능 사이에 큰 차이가 있었음. 출력에는 효과적으로 정량화하기 어려운 주관적 요소도 있으며, 의사결정 모델에서는 그 영향이 상대적으로 작음.
의사결정 모델을 동전 던지기로 시험하곤 함. 정답이 잘 알려져 있는데도 제대로 답하는 모델을 보지 못해, 다른 모든 판단에 대한 신뢰도 흔들림.
이미 여러 벤치마크에서 뒤처져 있으니 손쉽게 내세우는 핑계일 수도 있음.
Jev를 GUI로 실험하고 싶다면, 자체 호스팅 오픈소스 llms.py에 내가 만든 Decision Studio가 있음.
감정 분석, 고객 지원 분류, 주장 뒷받침 여부 확인 등의 작업을 정의하고 질문과 기준을 조정하면서 답변과 확률 분포를 살펴볼 수 있음. 기존 설정 모음을 가져오거나 예제를 저장하고, 실행 결과를 기록한 설정 모음을 공유하는 것도 가능함. Jev를 사용하려면 OpenRouter API 키가 필요함. https://llmspy.org/docs/features/decision-studio
이미지의 경계 상자를 지원하는 모델이 또 나와 반가움. 향후 버전에는 분할 기능도 들어가길 바람. 내 용도에는 Gemini 3.5 Flash-Lite가 필수이며, 직접 써본 모델 중 의미론적 이미지 분할 성능이 가장 뛰어남.
SAM이나 Moondream 대신 Gemini 3.5 Flash Lite를 쓰는 이유가 궁금함. 특히 더 좋은 성능을 내는 작업 흐름이 있을까?
괜찮은 로컬 모델을 찾는다면 JevK5-4B가 훌륭함. 제공된 근거를 바탕으로 질문의 답이 맞는지 판별하는 내 작업용 벤치마크에서는 Jev와의 점수 차이가 1점 이내였음.
직접 만든 추론 엔진 dlgo를 소개함. https://github.com/computerex/dlgo.
여러 가중치 공개 모델 아키텍처의 추론, Z ai turbo 확산 모델 이미지 생성, LLM 이미지 입력, Vulkan 및 최적화된 커널을 활용한 빠른 CPU 실행, 테스트용 실험 환경을 지원함. Jev와 같은 API 의미 체계를 사용하는 시스템 1 고속 추론 모드도 제공함.
의사결정 모델은 qwen 3.5 9b 같은 기반 모델에 순전파 결과를 출력하는 특수 선형 헤드를 결합하는 방식으로 작동함.
“jev-1.13.0은 사실 처음부터 멀티모달이었다”는 발표는, 기능을 켜는 비용을 투자자에게 보조받아야 해서 기존 기능을 비활성화해 뒀다고 인정하는 듯한 느낌임.
주제와는 조금 다르지만 웹사이트 디자인이 마음에 듦. Linux From Scratch dos를 개선한 버전처럼 보임.
스위스 스타일 또는 타이포그래피 스타일임.
겉모습만 흉내 냈다는 게 아쉬움. 내부는 전형적으로 비대한 Framer 사이트임.
Jev 출시 첫 주의 시연 중 상당수는 어떤 식으로든 이미지 데이터를 넣었는데, 아마 텍스트 설명을 거쳤던 것 같음. 시각 입력을 100ms 지연으로 판단할 수 있게 되면 무엇이 나올지 흥미로움.
내게는 지연 시간과 응답 속도가 판도를 크게 바꾸는 요소임. 10~100배 빠른 반응성은 훨씬 넓은 설계 가능성을 열어줌.