S1MB 랭킹 1위: 결정 엔진 리더보드에서 승리한 제로 토큰 평가기

요약 (TL;DR)

System One Mosaic Benchmark (S1MB) 결정 엔진 리더보드에서 저희 모델 Darwin-27B-ZTC-v2가 102개 모델 중 랭킹 1위를 차지했습니다. Borda 점수는 89.58점, 과제 평균은 66.46점이었습니다. 이 결과가 특별한 이유는 결정 방식에 있습니다. 단 한 번의 순방향 전달(forward pass)과 제로 생성 토큰을 사용했기 때문입니다.

S1MB가 테스트하는 것

S1MB는 타입 기반 결정 품질(typed-decision quality)을 측정합니다. 각 항목은 조건과 후보 선택지를 제공하며, 모델은 올바른 것을 골라 점수를 매겨야 합니다. 이는 텍스트 생성 벤치마크가 아닌 결정 벤치마크입니다. 출력은 타입 키(typed key)와 비교하여 점수가 매겨지므로, 모호한 문자열 일치나 두 번째 평가자 모델 없이도 깔끔하고 재현 가능한 순위가 나옵니다.

왜 제로 토큰이 여기서 승리하는가

결정이 필요한 대부분의 시스템은 여전히 전체 생성 루프를 실행하고 텍스트를 다시 결정으로 파싱합니다. 이는 느리고 비결정적이며, 생성되는 모든 토큰은 이탈(drift)할 기회를 제공합니다. 저희 방법인 ZTC (Zero-Token Confidence)는 이를 건너뜁니다. 모델은 단 한 번의 순방향 전달로 문제를 읽고, 최종 레이어의 은닉 상태(final-layer hidden state)를 가져와 보정된 프로브(calibrated probe)를 적용하여 결정을 직접 생성합니다.

# one forward pass, zero generated tokens
h     = model(text).last_hidden_state[last_non_pad_token]
score = ((h - mu) / sd) @ w   # calibrated probe -> typed decision

샘플링이 없기 때문에 동일한 입력은 항상 동일한 결정을 내리며, 이는 측정과 실제 운영 환경 모두에서 원하는 바입니다.

결과

어디서 찾을 수 있나요

• S1MB 랭킹 1위 모델: https://github.com/final-bench/s1mb
• ZTC 방법 및 추론 코드: https://github.com/final-bench/ztc
• 가중치(Weights): https://huggingface.co/FINAL-Bench/Darwin-27B-ZTC-v2

FAQ

S1MB란 무엇인가요?
System One Mosaic Benchmark는 유형별 결정 품질을 측정합니다. 즉, 주어진 조건과 후보 선택지들 중에서 모델이 올바른 것을 골라 점수를 매기는 방식입니다.

어떤 모델이 1위인가요?
Borda 점수 89.58점과 102개 모델 중 과제 평균 66.46점을 기록한 Darwin-27B-ZTC-v2가 1위입니다.

제로 토큰 결정이란 무엇인가요?
A 생성된 텍스트 없이 단 한 번의 순방향 패스(forward pass)로 내리는 결정으로, 모델의 최종 은닉 상태에 보정된 프로브(calibrated probe)를 적용하여 결정론적으로 만듭니다.

오픈 소스인가요?
네, Apache-2.0 라이선스 하에 공개되었습니다.

추가 자료

• 더 많은 VIDRAFT 엔지니어링 노트