교훈을 얻었습니다. 레포지토리를 무작정 신뢰하지 말고 장기간(수 주) 벤치마크를 위해 모든 것이 안정적인지 확인해야 합니다.

이전에 제가 swe-verified django 100 태스크 벤치마킹으로 다양한 로컬 모델과 양자화(quantization)를 비교한 것을 게시했습니다.
지금은 새로운 모델은 없지만, 제가 사용하던 과정에서 불행하게도 안정적이지 않았던 평가 워크플로우에 대한 수정 사항이 있습니다. 모든 실행에 대해 재평가를 했고, 눈에 띄는 몇 가지 변화가 있습니다:

Flash Next가 여전히 최고이지만, xhigh와 medium 추론 노력(reasoning effort)의 이점이 이제 제대로 나타납니다.
3.8 27B도 마찬가지입니다 (다만 일상적인 작업에서는 개인적으로 여전히 medium을 사용하는 것을 선호합니다).

제출자: /u/WonderRico [링크] [댓글]