
swe-verified 벤치마크의 일부를 사용하여 로컬 모델과 다양한 양자화 (quants) / 설정을 비교했습니다
요약
swe-verified 벤치마크를 활용하여 로컬 모델의 다양한 양자화 설정 및 파인튜닝 모델의 성능을 비교 분석했습니다. 수집된 데이터와 시각화 자료를 통해 베이스 모델별 성능 차이를 확인할 수 있습니다.
핵심 포인트
- swe-verified 벤치마크 기반 로컬 모델 성능 비교
- 양자화(Quantization) 설정에 따른 모델 성능 변화 분석
- 베이스 모델 및 파인튜닝 모델의 그룹별 성능 데이터 제공
- 데이터 시각화를 위한 Python 코드 활용
그리고 많은 데이터를 수집했습니다. 직접 확인하실 수 있습니다. 그리고 가장 궁금해하실 분들을 위해, 여기에 추가적인 세부 정보가 있습니다. 이 그래프에서는 파인튜닝 (finetunes) 모델들을 각각의 베이스 모델 (base models) 아래로 재그룹화했습니다. 하지만 페이지에서 상세 내용을 확인하실 수 있습니다. 이 페이지들을 생성하기 위한 파이썬 (Python) 코드는 명백히 바이브코딩 (vibecoded) 되었습니다. 저는 결과물이 꽤 예쁘고 저에게 어느 정도 유용하다고 생각합니다. 아마 다른 누군가에게도 유용할지도 모르겠습니다. 몇 주 동안 휴가를 떠날 예정이지만, 제안 사항이 있다면 하나씩 검토해 보겠습니다. /u/WonderRico에 의해 제출됨 [link] [comments]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기