BetterBench 소개 - 더 정확한 PP 및 TPS 측정

요약

기존 벤치마크의 무작위 데이터 사용 문제를 해결하기 위해 개발된 BetterBench를 소개합니다. 콘텐츠 유형에 따른 성능 편차를 줄이고 일관성을 1% 이내로 유지하며 정확한 PP 및 TPS 측정을 지원합니다.

핵심 포인트

• 콘텐츠 유형에 따른 성능 편차(5% 이상) 문제 해결
• 콘텐츠 일관성을 1% 이내로 유지하도록 설계
• MTP(Multi-Token Prediction) 환경에 최적화된 측정 방식
• 다양한 콘텐츠 유형에 걸친 정확한 PP 및 TPS 측정 가능