안녕하세요, 저의 첫 번째 벤치마크인 CrystalBench v1.0을 공개합니다: https://crystalspec.com/crystalbench. 이것은 코딩을 다루지 않는 벤치마크 제품군(bench suite)으로, 다른 모델에 의해 채점이 이루어지는 것이 아니라 완전히 결정론적인(deterministic) 스크립트에 의해 수행되며 기술적인 측면도 약간 다룹니다. 이 벤치마크는 모델이 사용자의 프로젝트를 이해할 수 있는지, 프로젝트에 관한 질문에 답할 수 있는지, 구조화된 표현(structured representations)을 생성할 수 있는지, 논리적 단위 간의 불일치를 찾을 수 있는지, 함정(traps)에 의해 유도된 잘못된 답변(rage-baited)을 하지 않는지 등을 테스트하는 데 중점을 둡. -- 흥미로운 결과들을 요약(TL;DR)하자면 다음과 같습니다:

• 1위: K3, 그 뒤를 Fable과 Opus 5가 이었습니다.
• 높은 추론 능력(Higher reasoning) -> 더 나쁜 결과를 낼 가능성이 높음: 함정을 설정해 두었으나 아무런 문제가 없는 테스트가 포함되어 있는데, 모델이 생각할 시간이 많아질수록 더 많은 것들을 지어내기 때문입니다.
• Sol은 여기서 가장 큰 놀라움(부정적인 의미로)이었습니다. 제 실수라고 생각해서 3번이나 다시 실행해야 했습니다. Sol이 이 벤치마크를 설계하고 엔지니어링하는 데 도움을 주었다는 점을 생각하면 아이러니합니다.
• 새로운 Deepseek 4.0 Flash 역시 이 벤치마크에서 괴물 같은 성능을 보여주었습니다.
• 그래서 전혀