DeepSeek 4.1 Flash (System One 모델) 대 Jev 비교

출처: DeepSeek vs Jev. 이것은 일반적인 LLM 벤치마크가 아닙니다. Jev는 '시스템 원(System One)' 모델입니다. 텍스트를 생성하는 것이 아니라, 각 옵션에 대한 확률만 제공합니다. 이 벤치마크는 정답과 그 확률을 점수화합니다. LLM도 확률을 요청하고 추론 기능을 끄면 수행할 수 있지만, 그것이 LLM의 본래 목적은 아닙니다. 마치 물고기의 나무 오르기 능력을 가지고 판단하는 것과 비슷합니다. 그럼에도 불구하고 DeepSeek은 '하나 선택하기(pick-one)' 작업에서 상당히 좋은 성능을 보여줍니다. 정확도 면에서는 Jev보다 약간 뒤처지고, 속도가 느리고 비용이 더 들지만, 이 분야에서 가장 잘 보정된 모델입니다. /u/frappuccinoCoin 제출 [링크] [댓글]