HuiHui와 Vanilla 3.6-35B-a3B에 동일한 커스텀 양자화 (quantization) 레시피를 적용했습니다.
어째서인지 거절 (refusal) 메커니즘을 제거하는 것이 수학과 코딩에서 진리와 지혜에 더 가까워지게 만드는 것 같습니다 (?)
Instruct 모드에서의 벤치마크이며, 3.6의 긴 추론 체인 (reasoning chains)을 고려할 시간은 없었습니다. oMLX 벤치마킹 스위트 (yes, 질문 샘플 수가 적고, 어쩌면 어블리터레이션 (abliteration) 과정 중에 유출되어 사용되었을 가능성도 있지만 그럴 확률은 낮습니다 - abliteration GitHub 저장소를 확인하세요)를 사용했습니다.
당신의 Mac에서 사용해 보세요: https://huggingface.co/leonsarmiento
submitted by /u/JLeonsarmiento
[link] [comments]