안녕하세요 여러분. 저는 낮은 양자화(low quants)가 믿기 힘든 수치를 내놓는 것에 지쳤습니다. 저 역시 상당히 회의적이었고, 제가 시도해 본 바로는 그 주장들이 부족하다는 인상을 자주 받았습니다. 그래서 이번에 Twitter에서 이 모델을 발견했습니다. 사용해 보니 기대 이상으로 성능이 좋아서 놀랐습니다. 직접 검증하기 위해 antigravity의 도움을 받아 몇 가지 벤치마크를 실행해 보았습니다. 결과는 다음과 같습니다:

저는 llama.cpp 설정을 업데이트(-n 16384)하고, 확장된 생성 예산(최대 토큰 8,192에서 12,000으로)을 사용하여 토큰 제한에 걸리는 질문들을 다시 실행했습니다. APEX (5-bit Q5): 더 긴 검증 루프(예: 문자 단위 DNA 정렬 배열, 휴지기 물리 가정 재확인 등)에서 지연되는 경향이 있습니다. 이로 인해 APEX는 10개 질문 중 4개에서

비록 이것이 매우 작은 표본 크기이며 전혀 결정적이지는 않지만, 적어도 모델이 이러한 벤치마크에서 성능 저하를 보이지 않는다는 것을 보여줍니다. 이 점을 참고하십시오. 물론 더 많은 스트레스 테스트가 필요합니다. 또한 저는 제 하네스(harness)와 에이전트 스킬(agent skills)을 사용하여 도구 호출(tool calling)에 대한 자체적인 느낌 기반 확인(vibe based check)을 수행하여 준수 여부를 확인했습니다. 모두 통과했으며 결과에 만족했습니다. 아, 그리고 저는 AMD 카드를 가지고 있어서 이 [https://huggingface.co/cafonez/Escha-W2-35B-A3B-ROCmFP2]를 통해 실행해 보았습니다. 그들의 트위터는 [https://x.com/Eschalabs]이며, 그곳에서도 독립적으로 검증된 결과들을 공유하는 것 같습니다. 명확히 하자면 저 역시 회의적이지만, 결과들은 유지되는 것처럼 보입니다. 이것은 VRAM이 부족한 우리에게 큰 도움이 될 수 있습니다. /u/WigglyScrotum 제출 [링크] [댓글]