HF leaderboards are fantastic, thank you @ClementDelangue @Thom_Wolf

요약

Hugging Face의 SWE-bench Verified 리더보드가 매우 유용하며, 여러 모델을 비교할 수 있는 핵심적인 벤치마킹 요소를 쉽게 제공해 준 것에 대해 감사를 표하고 있습니다. 이 공개적이고 커뮤니티 기반의 벤치마킹 방식은 폐쇄적인 테스트보다 더 많은 참여자와 데이터를 통해 더 신뢰성 높은 성능 지표를 제공합니다.

핵심 포인트

• Hugging Face의 SWE-bench Verified 리더보드가 모델 비교에 매우 유용함.
• 공개적이고 커뮤니티 기반의 벤치마킹이 폐쇄적인 방식보다 우수함 (더 많은 참여자, 데이터, 신호).
• 리더보드를 통해 약 50개의 다양한 모델 성능을 한눈에 비교할 수 있음.