AI는 하루 만에 기업 전체를 세울 수도 있지만, 여전히 자신의 이름을 철자 쓰는 데 어려움을 겪을 수 있으며 사용자들은 이를 알아차립니다. 그래서 저는 눈에 띄는 LLM 실패 사례를 위한 벤치마크인 ObviousBench.com을 만들었습니다.

놀라운 결과는 단순히 어떤 모델이 승리하느냐가 아닙니다. 팀이 더 작고, 저렴하고, 빠르거나, 추론 능력이 낮은 구성을 선택할 때 눈에 보이는 실패 위험이 얼마나 변하는가 하는 점입니다.

한 사례에서, GPT-5.4 nano는 추론(reasoning)이 없는 상태에서 36.8%의 답변 통과율(answer pass^3)을 보이다가, 매우 높은 추론(xhigh reasoning) 단계에서는 91.7%로 이동합니다. 이것은 리더보드(leaderboard)의 문제가 아니라 제품의 트레이드오프(tradeoff) 문제입니다.

Github: https://github.com/adamallcock/obviousbench
submitted by /u/pawofdoom
[link] [comments]