H200에서 기본적인 sglang 설정을 사용하여 공식 결과와 fp8 + fp8 kv를 비교 테스트해보고 싶었습니다. 혹시 공식 테스트 결과 중 하나가 필요하신 분이 있다면 저를 호출해 주세요. 하나를 재실행하지 않았기 때문에 점수가 약간 더 올라갈 수도 있습니다. :)

TERMINAL-BENCH 2.1 — 최종 결과 (mini-swe-agent를 통한 나의 모델)
전체: 89개 작업
통과: 71개 (79.8%)
실패: 17개
오류: 1개

입력 토큰 (Input tokens): 218,656,815
캐시 토큰 (Cache tokens): 216,036,672
출력 토큰 (Output tokens): 4,659,650
캐시 히트율 (Cache hit rate): 98.8%
새 입력 토큰 (New input tokens): 2,620,143

실패 (17) — 완료되었으나 오답
configure-git-webserver, db-wal-recovery, dna-assembly, dna-insert, extract-moves-from-video, filter-js-from-html, gcode-to-text, install-windows-3.11, model-extraction-relu-logits, mteb-leaderboard, protein-assembly, query-optimize, raman-fitting, regex-chess, torch-pipeline-parallelism, video-processing, winning-avg-corewars

오류 (1) — 시간 초과 (timed out)
torch-tensor-parallelism [VerifierTimeoutError — 재실행하지 않음]

제출자: /u/Daemonix00