댓글에서 "하지만 Opus 4.8이 더 약하기 때문에 폴백(fallback) 없이 점수가 더 높을 것이다"라고 말하는 사람들에게: 이것은 반드시 사실이 아닙니다... 어떤 벤치마크는 질의(queries)의 평균으로 작동하며, 여기서 '분할의 오류(fallacy of division)'가 발생합니다.

Opus 4.8이 AA에서 Fable 5보다 낮은 평균 점수를 받았다고 하더라도, 실제로 AA 지표를 구성하는 일부 벤치마크에서는 Fable 5보다 더 나은 성능을 보입니다. 특히 Fable 5의 거부율(refusal rate)이 높은 곳(예: GPQA Diamond, AA-Omniscience)에서 그렇습니다. 참고로 단일 벤치마크를 가져가더라도 항상 질의의 평균이기 때문에, 모델이 평균적으로 더 높은 점수를 받았다는 것이 모든 질의에 대해 더 잘 답변한다는 것을 의미하지는 않습니다.

따라서 Opus 4.8 폴백을 사용한 Fable이 순수 Fable보다 더 높은 점수를 받고 있을 가능성이 있습니다. 비록 Opus 4.8이 평균적으로 약하더라도 말입니다.

문제는 API 제공자만이 알 수 있다는 것입니다. 이것이 제가 지적하는 문제입니다.

Fable(또는 Opus?) 자체의 추가 세부 정보는 아래를 참고하세요!