기존의 벤치마크들이 무작위 데이터를 사용하고 있었고, MTP (Multi-Token Prediction) 콘텐츠 유형에 따라 성능 차이가 매우 크게 나타날 수 있기 때문에 이를 위해 제작했습니다. 콘텐츠 유형에 따라 5% 이상의 차이가 발생할 수 있습니다. BetterBench는 콘텐츠 일관성을 1% 이내로 유지하도록 설계되었으며, 다양한 콘텐츠 유형에 걸쳐 측정합니다. 예를 들어, 듀얼 R9700에서 Qwen3.6 27B FP8을 실행한 결과는 다음과 같습니다: https://preview.redd.it/atnhjhq20ohh1.png?width=1168&format=png&auto=webp&s=9353f440185373ab02e6cf75db65789f577a0d55 리포지토리는 여기서 찾을 수 있습니다: https://github.com/GGZ14/BetterBench /u/whodoneit1 에 의해 제출됨 [link] [comments]