다소 의외의 결과: 수학 및 코딩에서 HuiHui abliterated 모델이 Vanilla 3.6-35B-a3B를 압도하다
요약
HuiHui abliterated 모델이 Vanilla 3.6-35B-a3B 모델보다 수학 및 코딩 벤치마크에서 더 높은 성능을 보였습니다. 거절 메커니즘을 제거하는 과정이 특정 추론 작업에서 긍정적인 영향을 미칠 수 있음을 시사합니다.
핵심 포인트
- HuiHui abliterated 모델이 수학 및 코딩 성능에서 Vanilla 모델을 압도함
- 거절(refusal) 메커니즘 제거가 추론 능력 향상에 기여할 가능성 제시
- oMLX 벤치마킹 스위트를 활용한 실험 결과
- Mac 환경에서 테스트 가능한 Hugging Face 모델 제공
HuiHui와 Vanilla 3.6-35B-a3B에 동일한 커스텀 양자화 (quantization) 레시피를 적용했습니다.
어째서인지 거절 (refusal) 메커니즘을 제거하는 것이 수학과 코딩에서 진리와 지혜에 더 가까워지게 만드는 것 같습니다 (?)
Instruct 모드에서의 벤치마크이며, 3.6의 긴 추론 체인 (reasoning chains)을 고려할 시간은 없었습니다. oMLX 벤치마킹 스위트 (yes, 질문 샘플 수가 적고, 어쩌면 어블리터레이션 (abliteration) 과정 중에 유출되어 사용되었을 가능성도 있지만 그럴 확률은 낮습니다 - abliteration GitHub 저장소를 확인하세요)를 사용했습니다.
당신의 Mac에서 사용해 보세요: https://huggingface.co/leonsarmiento
submitted by /u/JLeonsarmiento
[link] [comments]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0