Jev의 보정(Calibration) 측정 결과: LLM들이 승리하다

출처: Jev Benchmarks
훈련 방법 자체가 문자 그대로 "보정을 거친 결정을 위한 강화학습 (Reinforcement Learning for Calibrated Decisions)"이라고 불립니다.
보정 격차 vs 인간 레이블 (낮을수록 좋음):
Yes/no:
Jev 5.0, Gemini 3.8 Flash 2.0
Pick-one:
Jev 9.8, DeepSeek V4.1 Flash 2.8
Rubric:
Jev 19.7, GLM-5.3 12.9
95%의 정확도를 유지했지만, Jev는 여전히 이들 중 어떤 것보다 많은 결정을 단독으로 처리합니다 (Yes/no의 86%). 보정이 더 안 되어도 자신이 맞는지 아는 능력이 더 뛰어납니다.
제출자: /u/frappuccinoCoin [링크] [댓글]