CrystalBench 공개

원문 발행 2026. 08. 01. 05:31원문 언어 영어AI 한국어 번역r/LocalLLaMA 원문 보기

요약

코딩을 제외한 모델의 프로젝트 이해도와 논리적 일관성을 측정하는 결정론적 벤치마크인 CrystalBench v1.0이 공개되었습니다. 모델이 구조화된 표현을 생성하고 함정 질문에 대응하는 능력을 테스트하며, 추론 능력이 높을수록 오히려 함정에 빠질 가능성이 있음을 보여줍니다.

핵심 포인트

결정론적 스크립트를 활용한 비코딩 벤치마크 제품군
프로젝트 이해도, 구조화된 표현, 논리적 불일치 탐지 능력 측정
높은 추론 능력이 오히려 함정 질문에서 오답을 유도할 수 있음
K3, Fable, Opus 5가 상위권을 기록했으며 Deepseek 4.0 Flash가 강력한 성능을 보임

안녕하세요, 저의 첫 번째 벤치마크인 CrystalBench v1.0을 공개합니다: https://crystalspec.com/crystalbench. 이것은 코딩을 다루지 않는 벤치마크 제품군(bench suite)으로, 다른 모델에 의해 채점이 이루어지는 것이 아니라 완전히 결정론적인(deterministic) 스크립트에 의해 수행되며 기술적인 측면도 약간 다룹니다. 이 벤치마크는 모델이 사용자의 프로젝트를 이해할 수 있는지, 프로젝트에 관한 질문에 답할 수 있는지, 구조화된 표현(structured representations)을 생성할 수 있는지, 논리적 단위 간의 불일치를 찾을 수 있는지, 함정(traps)에 의해 유도된 잘못된 답변(rage-baited)을 하지 않는지 등을 테스트하는 데 중점을 둡. -- 흥미로운 결과들을 요약(TL;DR)하자면 다음과 같습니다:

1위: K3, 그 뒤를 Fable과 Opus 5가 이었습니다.
높은 추론 능력(Higher reasoning) -> 더 나쁜 결과를 낼 가능성이 높음: 함정을 설정해 두었으나 아무런 문제가 없는 테스트가 포함되어 있는데, 모델이 생각할 시간이 많아질수록 더 많은 것들을 지어내기 때문입니다.
Sol은 여기서 가장 큰 놀라움(부정적인 의미로)이었습니다. 제 실수라고 생각해서 3번이나 다시 실행해야 했습니다. Sol이 이 벤치마크를 설계하고 엔지니어링하는 데 도움을 주었다는 점을 생각하면 아이러니합니다.
새로운 Deepseek 4.0 Flash 역시 이 벤치마크에서 괴물 같은 성능을 보여주었습니다.
그래서 전혀

AI 자동 생성 콘텐츠

원문 바로가기

CrystalBench 공개

요약

핵심 포인트

댓글